File upload करने के बजाय आप link paste कर सकते हैं और Hushscript को अपनी ओर से recording fetch करने दे सकते हैं। यह page बताता है कि हमारा fetcher क्या करता है, ताकि इसे अपने server logs में देखने वाले को ठीक-ठीक पता हो कि कौन request कर रहा है और क्यों।
हमारा fetcher अपनी पहचान बताता है
आपकी ओर से भेजी गई हर request में यह User-Agent होता है:
HushscriptFetcher/1.0 (+https://hushscript.com/url-import)
हम fetcher को कभी browser जैसा नहीं दिखाते, और कोई site हमें मना करे तो उसे bypass नहीं करते।
हर request signed होती है
हर request में उसके अपने target पर Ed25519 signature भी होता है, जो RFC 9421 HTTP Message Signatures पर आधारित Web Bot Auth scheme इस्तेमाल करता है। इससे आप पुष्टि कर सकते हैं कि request हमारी ओर से ही आई है, किसी ऐसे व्यक्ति से नहीं जिसने User-Agent string में हमारा नाम लिख लिया हो। Signature हमारी key directory की ओर इशारा करता है:
Signature-Agent: "https://hushscript.com"
Public keys उसी key से sign करके
/.well-known/http-message-signatures-directory
पर publish की जाती हैं। वह document machine-readable रूप में वही सब बताता
है जो यह page बताता है: हम कौन हैं, हमसे कैसे संपर्क करें और हम
robots.txt के कौन-से directives मानते हैं।
हम क्या request करते हैं
- सिर्फ़ HTTPS। हम plain
http://links follow नहीं करते। - जहाँ संभव हो, ranged
GET। Preview के लिए हम शुरुआती कुछ megabytes माँगते हैं और रुक जाते हैं। अगर आपका server range requests support नहीं करता, तो हम सामान्य request भेजते हैं और पर्याप्त data मिलते ही पढ़ना बंद कर देते हैं। - सिर्फ़ audio। 10 घंटे तक की recordings। Video links स्वीकार नहीं होते। Video download करके app में upload करें, जहाँ audio आपके अपने device पर extract होता है।
- हर import में कुछ ही requests। पहले file जाँचने के लिए छोटी probe request भेजते हैं, फिर उसे fetch करते हैं। हम आपकी site crawl या index नहीं करते और अपने तय schedule पर किसी URL को दोबारा visit नहीं करते। एक अपवाद है: Google Drive share link कभी-कभी file की जगह confirmation page देता है, और हम उस page के अपने download link को follow करते हैं।
- सीमित request rate। किसी एक site पर हमारा लक्ष्य एक second में एक request से कम भेजना है; हम कभी दस से ज़्यादा नहीं भेजते।
कौन-से links काम करते हैं
- किसी audio file के direct links।
- Dropbox, Google Drive और OneDrive के share links, बशर्ते sharing anyone with the link के लिए खुली हो। हम उन्हें आपके लिए direct-download रूप में rewrite करते हैं।
- Sign-in, paywall या bot challenge के पीछे वाले links काम नहीं कर सकते: server हमें recording के बजाय web page भेजता है, और किसी और की पहचान अपनाने के बजाय हम link को unreachable बताते हैं।
robots.txt में हम क्या मानते हैं
हमारा RFC 9309 product token HushscriptFetcher है।
- हमारे नाम से लिखे rules पूरी तरह माने जाते हैं।
HushscriptFetcher(या सिर्फ़Hushscript) नाम वाला group जैसा लिखा है वैसा ही लागू होता है:Disallowहमें रोकता है,Allowकिसी path को फिर खोलता है। - हर group का
Crawl-delayमाना जाता है,User-agent: *का भी। Delay से visitor का import धीमा होता है और आपका कुछ खर्च नहीं होता, इसलिए wildcard group का निर्देश भी मानते हैं। अगर इंतज़ार एक import के लिए बहुत लंबा हो, तो हम रुक जाते हैं और visitor को वजह बताते हैं। - Wildcard User-Agent group के
Disallowrules लागू नहीं होते। Fetcher crawler नहीं है: यह एक file एक बार पढ़ता है, क्योंकि sign in किए हुए किसी व्यक्ति ने ऐसा करने को कहा है। बड़े file-sharing hosts के blanket crawler rules search indexes को share links से दूर रखने के लिए हैं; उन्हें मानने से लोगों के paste किए हुए वही links काम नहीं करेंगे। अगर आप हमें रोकना चाहते हैं, तो हमारा नाम लिखें: नीचे दी गई एक line काफ़ी है। - अगर आपका
robots.txtबिल्कुल नहीं मिल पाता, तो हम आगे बढ़ते हैं। Server की अस्थायी परेशानी के कारण हम किसी का import fail नहीं करना चाहते।
अगर आप files host करते हैं और हमारा fetcher दिखे
Fetcher तभी आता है जब आपके किसी visitor ने आपकी file का link Hushscript में paste किया हो। यह सिर्फ़ वही एक file पढ़ता है, और कुछ नहीं।
इसे रोकने के लिए robots.txt में हमारा नाम लिखें:
User-agent: HushscriptFetcher
Disallow: /
अपने edge पर User-Agent block करना भी काम करता है। दोनों तरीकों में visitor को broken link के बजाय साफ़ संदेश मिलता है कि file download करके खुद upload करें।
सवाल या गलत व्यवहार की report के लिए: support@hushscript.com।