किशोर सुरक्षा चिंताओं से त्रस्त, कैरेक्टर एआई ने ‘संवेदनशील’ सामग्री से निपटने के लिए नई सुविधाओं का अनावरण किया

एक अन्य मुकदमे में आरोप लगाया गया है कि एक 17 वर्षीय किशोर, जिसने कैरेक्टर एआई चैटबॉट में सीमित स्क्रीन समय के बारे में शिकायत की थी, को बताया गया कि यह उन बच्चों के प्रति सहानुभूति रखता है जो अपने माता-पिता को मारते हैं। अमेरिका के टेक्सास में एक नौ वर्षीय उपयोगकर्ता के माता-पिता ने कैरेक्टर एआई पर उनके बच्चे को “अति-कामुकतापूर्ण सामग्री” के संपर्क में लाने का आरोप लगाया, जिससे उसमें “समय से पहले कामुक व्यवहार” विकसित हो गया।

नए किशोर सुरक्षा उपकरण

कैरेक्टर एआई 18 साल से कम उम्र के उपयोगकर्ताओं के लिए एक नया मॉडल पेश कर रहा है जो हिंसा और रोमांस जैसे कुछ विषयों पर उपयोगकर्ता के संकेतों पर डायल डाउन प्रतिक्रियाएं प्रदान करेगा। कंपनी ने एक ब्लॉग पोस्ट में कहा, “लक्ष्य मॉडल को कुछ प्रतिक्रियाओं या इंटरैक्शन से दूर रखना है, जिससे उपयोगकर्ताओं के सामने आने की संभावना कम हो जाती है, या मॉडल को संवेदनशील या विचारोत्तेजक सामग्री वापस करने के लिए प्रेरित किया जाता है।”

अनुचित उपयोगकर्ता इनपुट और मॉडल आउटपुट को ब्लॉक करने के प्रयास में, कैरेक्टर एआई ने कहा कि वह नए कंटेंट क्लासिफायर विकसित कर रहा है। उपयोगकर्ता की ओर से, क्लासिफायरियर कैरेक्टर एआई के सामुदायिक दिशानिर्देशों का उल्लंघन करने वाली सामग्री का पता लगाने और उसे ब्लॉक करने में मदद करेगा। इसमें कहा गया है, “कुछ मामलों में जहां हमें पता चलता है कि सामग्री में आत्महत्या या खुद को नुकसान पहुंचाने वाली भाषा शामिल है, हम उपयोगकर्ताओं को राष्ट्रीय आत्महत्या रोकथाम लाइफलाइन पर निर्देशित करने वाला एक विशिष्ट पॉप-अप भी दिखाएंगे।”

दूसरी ओर, कैरेक्टर एआई ने कहा कि उसने मॉडल की प्रतिक्रियाओं में विशिष्ट प्रकार की सामग्री की पहचान करने के लिए नए क्लासिफायर जोड़े हैं और मौजूदा क्लासिफायर में सुधार किया है। इसके अतिरिक्त, उपयोगकर्ताओं को अब चैटबॉट की प्रतिक्रिया में संपादन करने की अनुमति नहीं दी जाएगी जिसका उपयोग इसके बाद की प्रतिक्रियाओं को आकार देने के लिए किया गया था। विशेष रूप से, ऐप पर 60 मिनट से अधिक समय बिताने वाले उपयोगकर्ताओं को एक टाइम-आउट अधिसूचना दिखाई देगी जिसे भविष्य में वयस्क उपयोगकर्ताओं द्वारा समायोज्य बनाया जाएगा। जब उपयोगकर्ता “मनोवैज्ञानिक,” “चिकित्सक,” “डॉक्टर,” या अन्य समान व्यवसायों वाले शब्दों के साथ अक्षर बनाते हैं, तो उपयोगकर्ताओं को यह संकेत देने वाली भाषा दिखाई जाएगी कि चैटबॉट की प्रतिक्रियाओं को पेशेवर सलाह के लिए गलत नहीं माना जाना चाहिए। आगे चलकर, कैरेक्टर एआई ने कहा कि वह माता-पिता या देखभाल करने वालों को यह जानकारी प्रदान करने के लिए मंच पर माता-पिता के नियंत्रण की शुरुआत करेगा कि उनके बच्चे किस एआई कैरेक्टर से और कितनी देर तक बात कर रहे हैं। यदि आप या आपका कोई परिचित आत्महत्या का विचार कर रहा है, तो कृपया इन मानसिक स्वास्थ्य हेल्पलाइन नंबरों पर कॉल करें।