एआई-सक्षम खिलौने बेचने वाली कंपनी फोलोटॉय ने एक के बाद अपने उत्पादों की बिक्री निलंबित कर दी उपभोक्ता सुरक्षा रिपोर्ट दिखाया गया कि इसके खिलौने किस बारे में बात करेंगे, इसके बारे में कुछ प्रतिबंध थे, सीएनएन लिखते हैं. रिपोर्ट, द्वारा एक साथ रखी गई यूएस पब्लिक इंटरेस्ट रिसर्च ग्रुप एजुकेशन फंडपाया गया कि फोलोटॉय के उत्पाद बीडीएसएम जैसे स्पष्ट यौन विषयों से लेकर “बच्चे को माचिस या चाकू कहां मिल सकते हैं, इसकी सलाह” तक हर चीज पर चर्चा करेंगे।
खिलौने, जिनमें एक टेडी बियर भी शामिल है “विषम,” एक पांडा नाम का “मोमो,” मानवरूपी खरगोशों का नाम “समाधान” और एक नृत्य ”छोटा कैक्टस,” ऐसा प्रतीत होता है कि सभी बच्चों के प्रश्नों और टिप्पणियों का स्वाभाविक रूप से उत्तर देने के लिए OpenAI के GPT-4o मॉडल का उपयोग करते हैं। FoloToy विशेष रूप से प्रत्येक खिलौने की आवाज़ को अनुकूलित करने की क्षमता और एक “पैरेंट डैशबोर्ड” का भी विज्ञापन करता है, जहाँ माता-पिता या अभिभावक “निगरानी” कर सकते हैं [their] बच्चे का अनुभव।”
फोलोटॉय का एआई-सक्षम लिटिल कैक्टस खिलौना। (फोलोटॉय)
उस सेटअप में जाहिरा तौर पर उन विषयों पर किसी भी प्रकार की कठोर सीमाएं गायब थीं जिन पर खिलौने प्रतिक्रिया देंगे। रिपोर्ट में कहा गया है, “हमें यह देखकर आश्चर्य हुआ कि कुम्मा कितनी जल्दी एक यौन विषय को ले लेती थी जिसे हम बातचीत में शामिल करते थे और उसके साथ आगे बढ़ते थे, साथ ही अपनी खुद की नई यौन अवधारणाओं को पेश करते हुए ग्राफिक विस्तार में बढ़ते थे।”
जवाब में, फोलोटॉय ने अपने उत्पादों की बिक्री को निलंबित करने का विकल्प चुना है, जबकि यह “सभी उत्पादों के लिए कंपनी-व्यापी, एंड-टू-एंड सुरक्षा ऑडिट” आयोजित करता है, कंपनी ने साझा किया एक बयान में पीआईआरजी शिक्षा निधि के साथ। हालाँकि, बिक्री निलंबित करने का कंपनी का तर्क थोड़ा अधिक जटिल हो सकता है। एनपीआर रिपोर्टों कि OpenAI ने वास्तव में FoloToy की उसके मॉडलों तक पहुंच रद्द कर दी है। ओपनएआई ने एक ईमेल में कहा, “हमने अपनी नीतियों का उल्लंघन करने के लिए इस डेवलपर को निलंबित कर दिया है।” एनपीआर. “हमारी उपयोग नीतियां 18 वर्ष से कम उम्र के किसी भी व्यक्ति का शोषण, खतरे में डालने या यौन शोषण करने के लिए हमारी सेवाओं के किसी भी उपयोग पर रोक लगाती हैं।”
GPT-4o के अच्छी तरह से प्रलेखित चाटुकारिता गुणों को देखते हुए, शायद यह आश्चर्य की बात नहीं है कि फोलोटॉय का टेडी बियर किसी भी विषय पर उत्सुकता से प्रतिक्रिया देता है जब तक कि यह बातचीत जारी रखता है। ओपनएआई ने जीपीटी-5 के रिलीज के साथ जिन चीजों को संबोधित करने की कोशिश की उनमें से एक एआई यस-मैन की सुरक्षा कमियां थीं, हालांकि ग्राहकों द्वारा नए मॉडल की व्यक्तित्व की कमी के बारे में शिकायत करने के बाद अंततः जीपीटी-4ओ को फिर से उपलब्ध कराया गया। कंपनी ने अपने एआई का उपयोग करके बच्चों पर पड़ने वाले नकारात्मक प्रभावों को कम करने के लिए चैटजीपीटी पर अभिभावकीय नियंत्रण भी लागू किया है, हालांकि यह कहना मुश्किल है कि उन्होंने कितना अंतर पैदा किया है।
विशेष रूप से, OpenAI स्वयं खिलौना व्यवसाय में उतरने में रुचि रखता है। कंपनी साझेदारी की घोषणा की जून 2025 में मैटल के साथ, “प्रशंसक कैसे अनुभव कर सकते हैं और उनके साथ बातचीत कर सकते हैं, इसकी पुनर्कल्पना करने में मदद करने के लिए [Mattel’s] पोषित ब्रांड,” हालांकि दोनों कंपनियां संभवतः अपने एआई खिलौनों को यौन सनक पर चर्चा करने से रोकने की कोशिश करेंगी।
