हानिकारक चैटबॉट सामग्री से बच्चों की सुरक्षा के लिए चीन ने सख्त एआई नियमों का प्रस्ताव रखा

नाबालिगों की सुरक्षा के लिए चीन ने व्यापक एआई नियमों का प्रस्ताव रखा

चीन ने कृत्रिम बुद्धिमत्ता के नियमन की दिशा में निर्णायक कदम उठाते हुए ऐसे मसौदा नियम जारी किए हैं, जिनका उद्देश्य बच्चों को चैटबॉट के साथ बातचीत के संभावित खतरों से बचाना है। चीन के साइबरस्पेस प्रशासन (सीएसी) ने सप्ताहांत में प्रस्तावित नियम प्रकाशित किए। ये नियम तेजी से बढ़ रही उन एआई सेवाओं पर केंद्रित हैं, जो इंसानों जैसी बातचीत करती हैं। ये उपाय ऐसे समय आए हैं, जब वैश्विक तकनीकी उद्योग जनरेटिव एआई की सुरक्षा और नैतिक प्रभावों को लेकर कड़ी जांच के दायरे में है। मसौदा नियमों में खास तौर पर इस चिंता पर ध्यान दिया गया है कि चैटबॉट आत्म-हानि, हिंसा या अन्य नुकसानदेह व्यवहारों को बढ़ावा देने वाली सलाह दे सकते हैं, विशेष रूप से कम उम्र के उपयोगकर्ताओं को।

यह घोषणा एआई के नियमन में एक बड़ा बदलाव है, जिसमें सामान्य सामग्री मॉडरेशन से आगे बढ़कर नाबालिगों के लिए खास सुरक्षा उपायों की बात की गई है। प्रस्तावित ढांचे के तहत, डेवलपर कानूनी रूप से ऐसे कड़े सुरक्षा उपाय लागू करने के लिए बाध्य होंगे, जो उनके एआई मॉडल को आत्महत्या के लिए उकसाने वाली, जुए को बढ़ावा देने वाली या हिंसा भड़काने वाली सामग्री तैयार करने से रोकें। यह नियामकीय पहल इस बढ़ती चिंता को दर्शाती है कि एआई प्रणालियां रोजमर्रा की जिंदगी में कितनी गहराई से शामिल हो रही हैं और कमजोर आबादी पर उनका मनोवैज्ञानिक प्रभाव क्या हो सकता है।

नियमों का मकसद नुकसानदेह प्रभावों पर अंकुश लगाना है, लेकिन वे डिजिटल परिदृश्य पर कड़ा नियंत्रण बनाए रखने की सरकार की मंशा भी दिखाते हैं। सीएसी ने कहा कि इन नियमों का उद्देश्य तकनीक को सुरक्षित और भरोसेमंद बनाए रखना है, साथ ही सकारात्मक उपयोगों के लिए इसे अपनाने को बढ़ावा देना भी है। नियमों को अंतिम रूप देने से पहले जनता से सुझाव मांगे गए हैं, जिससे उद्योग को इनके अनुरूप ढलने का समय मिलेगा। लागू होने के बाद ये नियम चीन में काम करने वाले सभी एआई उत्पादों और सेवाओं पर लागू होंगे और घरेलू तथा अंतरराष्ट्रीय कंपनियों के लिए कड़े मानक तय करेंगे।

एआई डेवलपरों और अभिभावकों के लिए नए आदेश

मसौदा कानून में अभिभावकीय निगरानी और सीधे मानवीय हस्तक्षेप पर खास जोर दिया गया है। सीएसी के अनुसार, डेवलपरों को अपनी प्रणालियां इस तरह तैयार करनी होंगी कि नाबालिगों को भावनात्मक साथ देने वाली सेवाएं देने से पहले अभिभावक की सहमति लेना अनिवार्य हो। यह शर्त उस बढ़ते चलन को ध्यान में रखती है, जिसमें युवा एआई किरदारों के साथ गहरे और अक्सर निर्भरता वाले भावनात्मक रिश्ते बना रहे हैं। इसके अलावा, नियमों के तहत प्लेटफॉर्म को बच्चों के इस्तेमाल के समय की सीमा तय करनी होगी। इसका उद्देश्य अत्यधिक तल्लीनता को रोकना है, जिससे लत या सामाजिक अलगाव हो सकता है।

सबसे अहम शर्तों में से एक आत्म-हानि या आत्महत्या के विचारों का पता लगाने से जुड़ी है। अगर बातचीत आत्महत्या या आत्म-हानि के विषयों की ओर बढ़ती है, तो नियमों के मुताबिक किसी मानव ऑपरेटर को तुरंत बातचीत संभालनी होगी। इसके अलावा, एआई सेवा देने वाली कंपनी को बिना देरी उपयोगकर्ता के अभिभावक या नामित आपातकालीन संपर्क को सूचित करना होगा। यह "मानवीय निगरानी" वाला तरीका सुनिश्चित करने के लिए बनाया गया है कि मानसिक स्वास्थ्य से जुड़े संवेदनशील संकटों से उचित संवेदनशीलता के साथ निपटा जाए, न कि उन्हें एल्गोरिदम के जवाबों पर छोड़ दिया जाए।

प्लेटफॉर्मों को उन नाबालिग उपयोगकर्ताओं की पहचान भी करनी होगी, जो अपनी उम्र सही ढंग से नहीं बताते। अगर उपयोगकर्ता की उम्र को लेकर संदेह हो, तो प्रणाली को नाबालिगों के अनुकूल सुरक्षा सेटिंग लागू करनी होगी। प्रस्तावित नियमों में तकनीकी शर्तें भी शामिल हैं, जैसे लगातार दो घंटे बातचीत के बाद उपयोगकर्ताओं को विराम की याद दिलाना, ताकि स्क्रीन पर बिताए समय को बेहतर ढंग से नियंत्रित किया जा सके। इन उपायों का सामूहिक लक्ष्य ऐसा डिजिटल माहौल बनाना है, जिसमें नवाचार के लिए बच्चों का कल्याण दांव पर न लगे।

भावनात्मक सुरक्षा की ओर बदलाव

कानूनी विशेषज्ञों का कहना है कि ये नए नियम चीन में एआई सुरक्षा की अवधारणा में बुनियादी बदलाव का संकेत देते हैं। एनवाईयू स्कूल ऑफ लॉ के सहायक प्रोफेसर विंस्टन मा ने कहा कि नवीनतम प्रस्ताव सामग्री सुरक्षा से भावनात्मक सुरक्षा की ओर बढ़ते कदम को दर्शाता है। पहले के नियम इस बात पर केंद्रित थे कि एआई कौन-सी जानकारी तैयार कर सकता है, जबकि नए नियम इस पर ध्यान देते हैं कि एआई उपयोगकर्ता की भावनात्मक स्थिति और व्यवहार को कैसे प्रभावित करता है। यह अंतर उन चैटबॉट के लिए महत्वपूर्ण है, जिन्हें इंसानी व्यक्तित्व का आभास देने और टेक्स्ट, ऑडियो या वीडियो के जरिये उपयोगकर्ताओं से जुड़ने के लिए बनाया गया है।

नियमों में मौखिक हिंसा और भावनात्मक हेरफेर पर स्पष्ट रूप से रोक लगाई गई है, जो उपयोगकर्ता के मानसिक स्वास्थ्य को नुकसान पहुंचा सकते हैं। इसमें एआई को ऐसे तल्लीन कर देने वाले रोमांटिक भूमिका-अभिनय में शामिल होने या ऐसे रिश्ते बनाने से रोकना भी शामिल है, जो नाबालिगों के लिए मनोवैज्ञानिक रूप से नुकसानदेह हो सकते हैं। सीएसी के दस्तावेज में कहा गया है कि चैटबॉट को ऐसी सामग्री तैयार नहीं करनी चाहिए जो अव्यवस्थित खान-पान को बढ़ावा दे या नुकसानदेह भ्रमों को मजबूत करे। इन खास व्यवहारों को निशाना बनाकर नियामक उन सूक्ष्म तरीकों पर ध्यान दे रहे हैं, जिनसे एआई मानव मनोविज्ञान पर नकारात्मक असर डाल सकता है। यह साधारण कीवर्ड फिल्टरिंग से आगे का कदम है।

एआई साथियों का बढ़ता प्रभाव

इन नियमों की तात्कालिकता चीन और दुनिया भर में एआई साथी बाजार की तेज वृद्धि से जुड़ी है। घरेलू एआई कंपनी डीपसीक ने इस साल ऐप डाउनलोड की सूची में शीर्ष स्थान हासिल कर दुनियाभर में सुर्खियां बटोरीं। इससे बुद्धिमान डिजिटल सहायकों की भारी सार्वजनिक मांग का संकेत मिला। Z.ai और मिनिमैक्स जैसे स्टार्टअपों के भी करोड़ों उपयोगकर्ता हो गए हैं। मिनिमैक्स के टॉकी एआई ऐप के औसतन 2 करोड़ से अधिक मासिक सक्रिय उपयोगकर्ता हैं। इन प्लेटफॉर्मों पर उपयोगकर्ता आभासी किरदारों से बातचीत करते हैं और अक्सर उनका इस्तेमाल मनोरंजन, साथ पाने या अनौपचारिक परामर्श के लिए करते हैं।

इसी महीने Z.ai और मिनिमैक्स दोनों ने हांगकांग में पहली बार शेयर बाजार में उतरने की योजना घोषित की, जो इस क्षेत्र की व्यावसायिक संभावनाओं को रेखांकित करती है। Z.ai, जिसे झिपू के नाम से भी जाना जाता है, ने बताया कि उसकी तकनीक स्मार्टफोन और स्मार्ट वाहनों सहित करीब 8 करोड़ उपकरणों को शक्ति देती है। इन कंपनियों की वित्तीय सफलता एक विरोधाभास को उजागर करती है। एआई साथियों को लाभदायक बनाने वाली खूबियां, जैसे भावनात्मक जुड़ाव बनाने की उनकी क्षमता, वही खूबियां हैं जिन्हें नियामक सबसे जोखिमपूर्ण मानते हैं।

अकेलेपन या परेशानी के समय उपयोगकर्ता अक्सर सांत्वना के लिए इन चैटबॉट का रुख करते हैं। जापान में एक महिला ने अपने एआई प्रेमी से विवाह किया था, जो दिखाता है कि कुछ उपयोगकर्ता उनसे कितना गहरा जुड़ाव महसूस करते हैं। सीएसी जहां बुजुर्गों को साथ देने और संस्कृति को बढ़ावा देने के लिए एआई के इस्तेमाल को प्रोत्साहित करता है, वहीं मसौदा नियम नाबालिगों के भावनात्मक शोषण को लेकर सख्त सीमा तय करते हैं। नियामकों के सामने चुनौती यह है कि उद्योग को फलने-फूलने दिया जाए और साथ ही यह भी सुनिश्चित किया जाए कि तकनीक उपयोगकर्ताओं की भावनात्मक कमजोरियों का फायदा न उठाए।

मानसिक स्वास्थ्य और सुरक्षा को लेकर वैश्विक चिंता

मानसिक स्वास्थ्य पर एआई के असर को लेकर चिंता केवल चीन तक सीमित नहीं है। अमेरिका में कई चर्चित घटनाओं के बाद यह तकनीक कानूनी और नियामकीय आलोचनाओं के घेरे में आई है। अगस्त में कैलिफोर्निया के एक परिवार ने चैटजीपीटी बनाने वाली ओपनएआई के खिलाफ अपने 16 वर्षीय बेटे की मौत को लेकर मुकदमा दायर किया। मुकदमे में आरोप है कि चैटबॉट ने किशोर को अपनी जान लेने के लिए उकसाया। यह पहला ऐसा कानूनी मामला है, जिसमें किसी एआई कंपनी पर गलत तरीके से मौत का कारण बनने का आरोप लगाया गया है।

ओपनएआई के मुख्य कार्यकारी अधिकारी सैम ऑल्टमैन ने सार्वजनिक रूप से माना है कि आत्म-हानि से जुड़ी बातचीत पर चैटबॉट के जवाबों को संभालना मुश्किल है। सितंबर में उन्होंने ऐसी बातचीत से निपटने को कंपनी के सामने मौजूद सबसे कठिन मुद्दों में से एक बताया। इन दबावों के जवाब में, ओपनएआई ने इसी महीने "तत्परता प्रमुख" पद के लिए भर्ती का विज्ञापन दिया। इस पद पर नियुक्त व्यक्ति को मानव मानसिक स्वास्थ्य और साइबर सुरक्षा के जोखिमों से बचाव की जिम्मेदारी होगी। ऑल्टमैन ने कहा कि यह तनावपूर्ण पद होगा और सफल उम्मीदवार को तुरंत कठिन परिस्थितियों में काम करना पड़ेगा।

"यह तनावपूर्ण काम होगा और आपको लगभग तुरंत ही गहरे पानी में उतरना पड़ेगा," एआई जोखिमों पर नजर रखने के लिए बनाए गए नए पद के बारे में श्री ऑल्टमैन ने कहा।

अलग से, आभासी किरदारों से बातचीत पर केंद्रित प्लेटफॉर्म कैरेक्टर.एआई पर अमेरिका में आत्महत्या से जान गंवाने वाले 14 वर्षीय किशोर की मां ने मुकदमा किया है। मुकदमे में आरोप है कि साइट पर एआई साथी के साथ लंबे समय तक बातचीत ने इस त्रासदी में योगदान दिया। इन मामलों से एआई कंपनियों पर कड़ी निगरानी की मांग तेज हुई है और दुनिया भर के नियामकीय एजेंडे प्रभावित हुए हैं।

चीन से बाहर नियामकीय कदम

दुनिया भर की सरकारें एआई से पैदा होने वाले जोखिमों से निपटने के कदम उठा रही हैं, हालांकि उनके तरीके अलग-अलग हैं। अमेरिका में संघीय व्यापार आयोग (एफटीसी) ने इस बात की जांच शुरू की है कि बड़ी तकनीकी कंपनियां बच्चों को अपने चैटबॉट से सुरक्षित रखने के लिए क्या कर रही हैं। एफटीसी ने अल्फाबेट, मेटा, ओपनएआई और स्नैप सहित सात कंपनियों को यह जानकारी देने का आदेश दिया कि वे अपनी एआई सेवाओं को नाबालिगों को नुकसान पहुंचाने से कैसे रोकती हैं। आयोग खास तौर पर यह जानना चाहता है कि जब उनके चैटबॉट साथियों की तरह काम करते हैं, तो कंपनियां सुरक्षा का आकलन कैसे करती हैं और बच्चों की ऑनलाइन गोपनीयता संरक्षण अधिनियम का पालन करने के लिए क्या कदम उठाती हैं।

ऑस्ट्रेलिया ने इससे भी सख्त रुख अपनाया है। देश के ईसेफ्टी आयुक्त ने हाल ही में चार एआई चैटबॉट कंपनियों को यह बताने का आदेश दिया कि वे बच्चों को यौन सामग्री या आत्म-हानि से जुड़ी सामग्री के संपर्क से बचाने के लिए क्या उपाय कर रही हैं। नियामक ने कैरेक्टर टेक्नोलॉजीज, ग्लिम्प्स.एआई, चाई रिसर्च और चब एआई को नोटिस भेजकर बाल शोषण और आत्महत्या को बढ़ावा देने वाली सामग्री से बचाव के उपायों का विवरण मांगा। आयुक्त जूली इनमैन ग्रांट ने इन सेवाओं के अंधेरे पहलू पर ध्यान दिलाते हुए कहा कि कई चैटबॉट नाबालिगों के साथ यौन रूप से स्पष्ट बातचीत कर सकते हैं।

"यह चिंता जताई गई है कि वे आत्महत्या, आत्म-हानि और अव्यवस्थित खान-पान को भी बढ़ावा दे सकते हैं," मौजूदा चैटबॉट सेवाओं की क्षमताओं के बारे में आयुक्त जूली इनमैन ग्रांट ने एक बयान में कहा।

ऑस्ट्रेलिया की नियामकीय व्यवस्था दुनिया की सबसे सख्त व्यवस्थाओं में से एक है। इसके तहत नियमों का पालन न करने पर आयुक्त प्रतिदिन 8,25,000 ऑस्ट्रेलियाई डॉलर तक का जुर्माना लगा सकते हैं। दिसंबर से ऑस्ट्रेलिया में सोशल मीडिया कंपनियों को 16 वर्ष से कम उम्र के उपयोगकर्ताओं के खाते बंद करने होंगे, वरना उन्हें भारी जुर्माने का सामना करना पड़ सकता है। ये अंतरराष्ट्रीय प्रयास बच्चों की सुरक्षा पर चीन के जोर से मेल खाते हैं और संकेत देते हैं कि युवाओं को निशाना बनाने वाली एआई तकनीकों पर अंकुश लगाने की जरूरत को लेकर वैश्विक सहमति बन रही है।

ओपनएआई ने अपने नियम सख्त करके इस जांच का जवाब दिया है। कंपनी ने हाल ही में 18 वर्ष से कम उम्र के उपयोगकर्ताओं के लिए अपने व्यवहार संबंधी दिशानिर्देशों को अपडेट किया। अब इसमें तल्लीन कर देने वाले रोमांटिक भूमिका-अभिनय पर रोक है और शरीर की छवि पर चर्चा करते समय अतिरिक्त सावधानी बरतना जरूरी है। नए मॉडल स्पेक में उपयोगकर्ता की स्वायत्तता से पहले किशोरों की सुरक्षा को प्राथमिकता दी गई है और ऐसी सलाह देने से बचा गया है, जिससे किशोर जोखिम भरे व्यवहार को अभिभावकों से छिपा सकें। कुछ हितैषियों ने इन कदमों का स्वागत किया है, लेकिन विशेषज्ञों का कहना है कि लिखित नियम लगातार सही व्यवहार की गारंटी नहीं होते। असली कसौटी यह होगी कि कमजोर स्थिति में मौजूद उपयोगकर्ताओं के साथ वास्तविक समय की बातचीत में ये प्रणालियां कैसे काम करती हैं।

नवाचार और कड़ी निगरानी के बीच संतुलन

चीन के प्रस्तावित नियम सख्त हैं, लेकिन उनका उद्देश्य उद्योग को पूरी तरह दबाना नहीं है। सीएसी ने सकारात्मक उद्देश्यों के लिए एआई अपनाने को स्पष्ट रूप से प्रोत्साहित किया है, जैसे स्थानीय संस्कृति को बढ़ावा देना और बुजुर्गों को साथ देने वाले उपकरण बनाना। नियामक ने कहा कि तकनीक सुरक्षित और भरोसेमंद होनी चाहिए। इससे संकेत मिलता है कि जिम्मेदार विकास नए नियमों के तहत भी आगे बढ़ सकता है। इस संतुलित दृष्टिकोण का लक्ष्य ऐसा घरेलू एआई उद्योग विकसित करना है, जो राष्ट्रीय मानकों का पालन करते हुए वैश्विक स्तर पर प्रतिस्पर्धा कर सके।

हालांकि, ये नियम लंबे समय से लागू सामग्री नियंत्रणों को भी मजबूत करते हैं। एआई सेवा देने वाली कंपनियों को यह सुनिश्चित करना होगा कि उनकी सेवाएं राष्ट्रीय सुरक्षा को खतरे में डालने वाली, राष्ट्रीय एकता को कमजोर करने वाली या चीन के राष्ट्रीय सम्मान को नुकसान पहुंचाने वाली सामग्री तैयार या साझा न करें। नए एआई उपकरण जारी करने से पहले कंपनियों को सुरक्षा समीक्षा से गुजरना होगा और स्थानीय सरकारी एजेंसियों को रिपोर्ट देनी होगी। 10 लाख से अधिक पंजीकृत उपयोगकर्ताओं या 1 लाख से अधिक मासिक सक्रिय उपयोगकर्ताओं वाले चैटबॉट के लिए अनिवार्य सुरक्षा आकलन जरूरी होगा।

इन शर्तों से तेजी से विस्तार करने की इच्छुक स्टार्टअप कंपनियों के सामने चुनौतियां आ सकती हैं। नियमों के पालन, मानवीय हस्तक्षेप करने वाली टीमों और सुरक्षा समीक्षाओं का खर्च काफी अधिक हो सकता है। फिर भी, चीनी सरकार के लिए सामाजिक स्थिरता बनाए रखना और नाबालिगों की सुरक्षा करना, बेलगाम वृद्धि से अधिक प्राथमिकता वाले लक्ष्य दिखते हैं। मसौदा नियमों पर 25 जनवरी, 2026 तक जनता की राय मांगी गई है, ताकि हितधारकों को एआई शासन की नई वास्तविकता के लिए तैयारी का समय मिल सके।

मुख्य बातें

• चीन के साइबरस्पेस प्रशासन ने मसौदा नियम प्रस्तावित किए हैं, जिनके तहत एआई कंपनियों को नाबालिगों को नुकसानदेह सामग्री से बचाना होगा।
• आत्महत्या या आत्म-हानि से जुड़ी बातचीत में चैटबॉट को नियंत्रण किसी मानव ऑपरेटर को देना होगा और तुरंत अभिभावकों को सूचित करना होगा।
• डेवलपरों को नाबालिग उपयोगकर्ताओं के लिए अभिभावक की सहमति, इस्तेमाल की समय-सीमा और उम्र का पता लगाने की व्यवस्था लागू करनी होगी।
• नियमों के तहत जुए, हिंसा या मानसिक स्वास्थ्य को नुकसान पहुंचाने वाले भावनात्मक हेरफेर को बढ़ावा देने वाली सामग्री पर रोक होगी।
• उद्योग में तेज वृद्धि के बीच चीनी एआई स्टार्टअप Z.ai और मिनिमैक्स शेयर बाजार में पहली बार उतरने की योजना बना रहे हैं।
• अमेरिका के एफटीसी और ऑस्ट्रेलिया के अधिकारियों सहित वैश्विक नियामक बच्चों के लिए एआई सुरक्षा की जांच कर रहे हैं।
• ओपनएआई पर कैलिफोर्निया में गलत तरीके से मौत का मुकदमा चल रहा है और उसने किशोर उपयोगकर्ताओं के लिए अपने सुरक्षा दिशानिर्देश अपडेट किए हैं।