एआई स्टार्टअप कैरेक्टर.एआई ने कहा है कि वह 18 साल से कम उम्र के उपयोगकर्ताओं को अपने चैटबॉट के साथ बातचीत करने से प्रतिबंधित कर देगा। कंपनी ने घोषणा की है कि 18 साल से कम उम्र के उपयोगकर्ताओं को तुरंत उसके AI के साथ केवल दो घंटे की ‘ओपन एंडेड चैट’ मिलेगी और 25 नवंबर तक यह पूर्ण प्रतिबंध में बदल जाएगा। कंपनी ने यह निर्णय इसलिए लिया क्योंकि एआई कंपनियों पर किशोरों के मानसिक स्वास्थ्य पर उनके उत्पादों के संभावित हानिकारक प्रभाव को लेकर दबाव बढ़ रहा है।
पूर्ण प्रतिबंध लागू होने तक, एआई स्टार्टअप का कहना है कि वह अंडर-18 अनुभव बनाने के लिए काम करेगा जो किशोरों को रचनात्मक होने के तरीके देता है जैसे वीडियो, कहानियां और पात्रों के साथ स्ट्रीम बनाना।
कैरेक्टर.एआई का कहना है कि उसने उपयोगकर्ता की आयु निर्धारित करने के लिए एक इन-हाउस मॉडल बनाया है और ‘उपयोगकर्ताओं को उनकी उम्र के लिए सही अनुभव प्राप्त हो यह सुनिश्चित करने में मदद करने के लिए’ आयु सत्यापन स्टार्टअप पर्सोना के टूल का भी उपयोग किया जाएगा।
कैरेक्टर.एआई नाबालिगों पर प्रतिबंध क्यों लगा रहा है?
परिवर्तनों के पीछे का कारण बताते हुए, कैरेक्टर.एआई ने नियामकों से प्रश्न प्राप्त करने के बाद ‘एआई के साथ चैट करते समय किशोरों को किस प्रकार की सामग्री का सामना करना पड़ सकता है और सामान्य तौर पर ओपन-एंडेड एआई चैट किशोरों को कैसे प्रभावित कर सकती है’ के बारे में बताया।
“हम ओपन-एंडेड कैरेक्टर चैट को हटाने के इस कदम को हल्के में नहीं लेते हैं – लेकिन हम सोचते हैं कि किशोरों को इस नई तकनीक के साथ कैसे बातचीत करनी चाहिए और कैसे करना चाहिए, इस बारे में उठाए गए सवालों को देखते हुए ऐसा करना सही बात है।” कंपनी ने एक ब्लॉगपोस्ट में कहा।
हाल के दिनों में एआई कंपनियों के खिलाफ कई मुकदमे आए हैं, जिनमें माता-पिता ने आरोप लगाया है कि चैटबॉट के साथ बातचीत करने के बाद उनके किशोर की मौत हो गई या उसने आत्महत्या का प्रयास किया।
फ्लोरिडा में कैरेक्टर.एआई के खिलाफ दायर एक मामले में, शिकायतकर्ताओं ने आरोप लगाया कि गेम ऑफ थ्रोन्स के चरित्र डेनेरीस टारगैरियन की नकल करने वाले एक चैटबॉट से जुड़ने के बाद एक 14 वर्षीय लड़के की आत्महत्या से मृत्यु हो गई।
एक अन्य मामले में, एक परिवार ने आरोप लगाया है कि कैरेक्टर.एआई चैटबॉट ने उनके 17 वर्षीय बेटे को आत्महत्या के लिए प्रोत्साहित किया और सुझाव दिया कि उसके माता-पिता की हत्या करना एक ‘उचित’ समाधान होगा।
पिछले महीने ही, यूएस फेडरल ट्रेड कमीशन (एफटीसी) ने कैरेक्टर.एआई, मेटा, ओपनएआई, गूगल (अल्फाबेट), स्नैप और एक्सएआई समेत सात एआई कंपनियों की जांच शुरू की थी, ताकि वे किशोरों पर अपने चैटबॉट्स के संभावित नकारात्मक प्रभावों का मूल्यांकन, परीक्षण और निगरानी कैसे कर सकें, इसके बारे में जानकारी प्राप्त की जा सके। कैलिफ़ोर्निया में एक नया कानून यह भी प्रतिबंधित करता है कि एआई चैटबॉट उपयोगकर्ताओं पर कैसे प्रतिक्रिया कर सकते हैं। इस बीच, हाल ही में अमेरिकी सीनेट में एक नया विधेयक भी प्रस्तावित किया गया था, जिसमें सभी ‘साथी’ एआई चैटबॉट्स पर प्रतिबंध लगाने की मांग की गई है, साथ ही यह सुनिश्चित करने के लिए कड़े उपाय सुनिश्चित किए गए हैं कि सभी उपयोगकर्ताओं की उम्र 18 वर्ष से अधिक है।
