एआई “क्रॉलर्स” का एक झुंड इंटरनेट पर बड़े पैमाने पर चल रहा है, जो प्रमुख तकनीकी कंपनियों में एल्गोरिदम फ़ीड करने के लिए डेटा के लिए अरबों वेबसाइटों को खंगाल रहा है – यह सब बिना अनुमति या भुगतान के, ऑनलाइन अर्थव्यवस्था को प्रभावित कर रहा है।
एआई चैटबॉट्स के उदय से पहले, वेबसाइटें बढ़ी हुई दृश्यता के बदले में खोज इंजनों को अपनी सामग्री तक पहुंचने की अनुमति देती थीं, एक ऐसी प्रणाली जो उन्हें ट्रैफ़िक और विज्ञापन राजस्व से पुरस्कृत करती थी।
लेकिन जेनेरिक एआई के तेजी से विकास ने Google और OpenAI जैसे तकनीकी दिग्गजों को वेब क्रॉलर के साथ अपने चैटबॉट के लिए जानकारी प्राप्त करने की अनुमति दी है, बिना मनुष्यों को मूल साइटों पर जाने की आवश्यकता के।
मीडिया आउटलेट जैसे पारंपरिक सामग्री उत्पादकों को एआई क्रॉलर्स द्वारा पीछे छोड़ दिया जा रहा है, जिसने उनके ऑनलाइन संचालन और विज्ञापन राजस्व में कटौती की है।
डेटा प्रबंधन फर्म डेटाइकू में एआई रणनीति के प्रमुख कर्ट मुएहमेल ने कहा, “जो साइटें बॉट्स को उनकी सामग्री तक पहुंच प्रदान करती थीं, उन्हें बदले में पाठक मिलते थे।”
लेकिन जेनेरिक एआई का आगमन उस मॉडल को “पूरी तरह से तोड़ देता है”, उन्होंने एएफपी को बताया।
ऑनलाइन इनसाइक्लोपीडिया ने पिछले महीने रिपोर्ट दी थी कि एआई खोज इंजन सारांश में वृद्धि के कारण 2024 और 2025 के बीच विकिपीडिया के मानव इंटरनेट ट्रैफ़िक में आठ प्रतिशत की गिरावट आई है।
अमेरिकी इंटरनेट सेवा प्रदाता क्लाउडफ़ेयर के सीईओ मैथ्यू प्रिंस ने कहा, “बुनियादी तनाव यह है कि इंटरनेट का नया व्यवसाय जो एआई-संचालित है, ट्रैफ़िक उत्पन्न नहीं करता है।”
क्लाउडफ़ेयर, जो सभी इंटरनेट ट्रैफ़िक का 20 प्रतिशत से अधिक संसाधित करता है, ने इस गर्मी में एक नए उपाय की घोषणा की जिसका उद्देश्य एआई क्रॉलर्स को वेबसाइट मालिकों से भुगतान या अनुमति के बिना सामग्री तक पहुंचने से रोकना है।
प्रिंस ने लिस्बन में वेब शिखर सम्मेलन के मौके पर एएफपी को बताया, “यह मूल रूप से गति सीमा का संकेत या अतिक्रमण न करने का संकेत लगाने जैसा है।”
“खराब व्यवहार करने वाले बॉट इससे बच सकते हैं, लेकिन हम उस पर नज़र रख सकते हैं… समय के साथ, हम इन नियंत्रणों को इस तरह से कड़ा कर सकते हैं कि हमें विश्वास है कि एआई कंपनियां ऐसा नहीं कर सकतीं।”
उन्होंने कहा, यह उपाय, जो 10 मिलियन से अधिक वेबसाइटों पर लागू होता है, पहले ही “कृत्रिम बुद्धिमत्ता दिग्गजों का ध्यान आकर्षित कर चुका है”।
छोटे पैमाने पर, अमेरिकी स्टार्टअप टोलबिट ऑनलाइन समाचार प्रकाशकों को एआई क्रॉलर ट्रैफ़िक को ब्लॉक करने, मॉनिटर करने और मुद्रीकरण करने के लिए टूल प्रदान कर रहा है।
“इंटरनेट एक राजमार्ग है,” सीईओ और सह-संस्थापक तोषित पाणिग्रही ने कहा, जिन्होंने कंपनी को “इंटरनेट पर टोलबूथ” के रूप में वर्णित किया।
टोलबिट यूएसए टुडे, टाइम पत्रिका और एसोसिएटेड प्रेस सहित 5,600 से अधिक साइटों के साथ काम करता है, जो मीडिया आउटलेट्स को अपनी सामग्री के लिए अपनी स्वयं की एक्सेस फीस निर्धारित करने की अनुमति देता है।
प्रकाशकों के लिए एनालिटिक्स मुफ़्त है, लेकिन एआई कंपनियों से “उनके द्वारा उपयोग की जाने वाली सामग्री के प्रत्येक टुकड़े के लिए लेनदेन शुल्क” लिया जाता है।
लेकिन मुएहमेल के लिए, एआई क्रॉलर्स द्वारा ऑनलाइन अधिग्रहण को केवल “आंशिक उपायों या किसी व्यक्तिगत कंपनी द्वारा” हल नहीं किया जा सकता है।
उन्होंने कहा, “यह संपूर्ण इंटरनेट अर्थव्यवस्था का विकास है, जिसमें कई साल लगेंगे।”
प्रिंस ने कहा, अगर बॉट झुंड स्वतंत्र रूप से ऑनलाइन घूमना जारी रखता है, तो “सामग्री निर्माण के लिए सभी प्रोत्साहन खत्म हो जाएंगे।”
“यह एक नुकसान होगा, न केवल हम इंसानों के लिए जो इसका उपभोग करना चाहते हैं, बल्कि वास्तव में उन एआई कंपनियों के लिए भी जिन्हें अपने सिस्टम को प्रशिक्षित करने के लिए मूल सामग्री की आवश्यकता होती है।”
