Kimi के नए डिजाइन में मदद के बाद किशोर शोधकर्ता ने छोड़ी कंपनी
कृत्रिम बुद्धिमत्ता (एआई) मॉडलों की परतों के बीच सूचना के आदान-प्रदान का नया तरीका विकसित करने में मदद करने वाले 17 वर्षीय शोधकर्ता चेन गुआंगयु ने 15 अक्टूबर 2026 को घोषणा की कि उन्होंने Kimi बनाने वाली चीनी कंपनी Moonshot AI छोड़ दी है। वह नवंबर 2025 में 16 साल की उम्र में इसकी शोध टीम में शामिल हुए थे।
विषय-सूची
- Kimi के नए डिजाइन में मदद के बाद किशोर शोधकर्ता ने छोड़ी कंपनी
- शोध में चेन का योगदान
- Attention Residuals मॉडल में क्या बदलाव करता है
- प्रकाशित नतीजे क्या बताते हैं
- स्कूल के हैकाथॉन से शोध टीम तक
- तेजी से आगे बढ़ने का घटनाक्रम
- Anthropic का आमंत्रण और 10 लाख डॉलर की चर्चा
- चर्चा में Discovery Loop क्यों आया
- उनके जाने से Moonshot में क्या छूटा
- मुख्य बातें
अंतरराष्ट्रीय स्तर पर Nathan Chen के नाम से पहचाने जाने वाले शेन्ज़ेन के इस किशोर ने शोध में ठोस योगदान दिया है: Moonshot के शोधकर्ताओं Yu Zhang और Jianlin Su के साथ 16 मार्च 2026 को प्रकाशित शोधपत्र Attention Residuals के सह-प्रथम लेखक के रूप में उनका नाम है। मॉडल के जुलाई में जारी होने के बारे में आई खबरों के अनुसार, यह तकनीक बाद में Kimi K3 का हिस्सा बनी।
Moonshot के प्रकाशित प्रयोग, चेन की उम्र को लेकर बने ध्यान से अधिक सटीक ढंग से उनके काम की तस्वीर पेश करते हैं। 48 अरब पैरामीटर वाले Kimi Linear मॉडल पर परीक्षणों में शोधकर्ताओं ने जांचे गए सभी कार्यों में सुधार दर्ज किया। उनकी Block Attention Residuals विधि ने पारंपरिक मॉडल के बराबर प्रशिक्षण हानि भी हासिल की, जबकि उस मॉडल को 1.25 गुना अधिक कंप्यूटिंग शक्ति दी गई थी।
चेन के जाने के बाद Anthropic की ओर से सार्वजनिक आमंत्रण आया है, Google के पूर्व शोधकर्ताओं द्वारा स्थापित एक स्टार्टअप को लेकर अटकलें तेज हुई हैं और उन्हें उस अज्ञात किशोर से जोड़ने की कोशिशें हुई हैं, जिसके बारे में बताया गया कि उसे करीब 10 लाख डॉलर या उससे अधिक मूल्य के पांच नौकरी प्रस्ताव मिले हैं।
हालांकि, चेन ने सार्वजनिक रूप से Anthropic में शामिल होने की अटकल खारिज की है। उनके अगले नियोक्ता, किसी पारिश्रमिक पैकेज और विश्वविद्यालय लौटने की संभावना की पुष्टि नहीं हुई है।
विदाई संदेश में चेन ने Moonshot में बिताए समय का जिक्र किया और उन्हें नौकरी देने वालों का आभार जताया। कंपनी छोड़ रहे मशीन लर्निंग शोध इंटर्न ने कहा:
पिछला साल मेरी जिंदगी का सबसे अच्छा साल रहा है।
उनका संदेश किसी तय मंजिल का नाम लेने के बजाय आगे भी खोज जारी रखने की इच्छा के साथ समाप्त हुआ।
शोध में चेन का योगदान
Kimi टीम की Attention Residuals रिपोर्ट में चेन का नाम Zhang और Su के साथ समान योगदान के उल्लेख के तहत है। इसका अर्थ है कि तीनों ने बड़ी टीम के इस प्रयास में प्रमुख योगदान दिया।
रोटरी पोजिशन एम्बेडिंग्स यानी RoPE पर अपने काम के लिए जाने जाने वाले Su ने शुरुआती प्रयोग किए। RoPE भाषा मॉडल को यह पता रखने में मदद करता है कि किसी क्रम में शब्द या सूचना के अन्य हिस्से कहां आते हैं। Kimi Linear आर्किटेक्चर पर शोध के प्रथम लेखक Zhang थे।
Su ने शुरुआती Attention Residuals विचार को बड़े मॉडलों के लिए व्यावहारिक बनाने में Zhang और चेन की मदद का श्रेय उन्हें दिया है। दोनों ने मिलकर Block AttnRes प्रस्तावित किया, जिसे विधि के लाभ बनाए रखते हुए बड़े पैमाने पर इस्तेमाल के लिए मेमोरी और संचार की जरूरत घटाने के उद्देश्य से तैयार किया गया।
चेन ने Kimi Delta Attention यानी KDA के लिए कंप्यूटिंग कर्नेल को तेज करने पर भी काम किया। कर्नेल एक छोटा प्रोग्राम होता है, जो ग्राफिक्स प्रोसेसिंग यूनिट पर कोई खास गणना करता है। इसमें सुधार से वही हार्डवेयर किसी काम को तेजी से पूरा कर सकता है।
इस तरह उनका काम दो आपस में जुड़े क्षेत्रों तक फैला था: यह तय करना कि मॉडल कैसे बनाया जाए और उसके पीछे की गणनाओं को कुशलता से चलाना। बड़े मॉडल प्रशिक्षित करने वाली प्रयोगशाला में, दोनों ही बातें तय करती हैं कि उपलब्ध कंप्यूटिंग बजट में कितना शोध किया जा सकता है।
Attention Residuals मॉडल में क्या बदलाव करता है
भाषा मॉडल कई क्रमिक परतों के जरिए सूचना को संसाधित करते हैं। हर परत मिली हुई सूचना को रूपांतरित करती है और ऐसी निरूपण तैयार करती है जिनका इस्तेमाल आगे की परतें उत्तर का अनुमान लगाने के लिए करती हैं।
मानक रेसिडुअल कनेक्शन परतों के आउटपुट को जोड़कर पुरानी सूचना को इस प्रक्रिया में आगे बढ़ाते हैं। Moonshot की आधिकारिक शोध रिपॉजिटरी के मुताबिक, इस तरीके में एक समस्या है: मॉडल जितना गहरा होता जाता है, बार-बार सूचना जुड़ने से अलग-अलग योगदान धुंधले पड़ सकते हैं और आंतरिक संकेतों का आकार बढ़ सकता है।
Attention Residuals इस तयशुदा जोड़ की जगह सीखी हुई चयन प्रक्रिया का इस्तेमाल करता है। बाद की परत मौजूदा इनपुट के आधार पर पहले बनी सूचना को अलग-अलग महत्व दे सकती है। इसे ऐसे समझें कि पाठक पिछले अध्यायों के हर नोट को समान महत्व देकर साथ ले जाने के बजाय सबसे उपयोगी नोट देखता है।
पहले की हर परत पर अलग-अलग यह चयन करने की अपनी लागत है। Block AttnRes परतों को समूहों में बांटता है, हर समूह के भीतर सामान्य जोड़ बनाए रखता है और फिर समूहों से मिले निरूपणों में से चयन करता है। रिपॉजिटरी के अनुसार, करीब आठ समूह पूरे तरीके के अधिकांश लाभ हासिल कर लेते हैं।
शोधपत्र में बताए गए Kimi Linear के सबसे बड़े कॉन्फ़िगरेशन में 54 परतें थीं, जिन्हें छह-छह के समूहों में बांटा गया। शुरुआती टोकन निरूपण के साथ इसके नौ समूहों ने चयन के लिए सूचना के 10 स्रोत दिए। इंजीनियरिंग का यही व्यावहारिक कदम इस विचार को प्रयोग से आगे बढ़ाकर बड़े मॉडल के प्रशिक्षण तक ले जाने में मददगार रहा।
प्रकाशित नतीजे क्या बताते हैं
मार्च में प्रकाशित शोधपत्र में Attention Residuals को 48 अरब कुल पैरामीटर वाले Kimi Linear मॉडल पर परखा गया। इनमें से प्रसंस्करण के दौरान 3 अरब पैरामीटर सक्रिय किए गए। पैरामीटर मॉडल के भीतर सीखी हुई संख्यात्मक सेटिंग्स होते हैं। इनमें से केवल कुछ को सक्रिय करने से मॉडल सीखे हुए ज्ञान के बड़े भंडार का उपयोग कर सकता है और हर चरण में जरूरी गणना सीमित रहती है।
प्रशिक्षण में 1.4 ट्रिलियन टोकन का इस्तेमाल हुआ। टोकन वे हिस्से हैं जिनमें मॉडल पाठ या अन्य डेटा को संसाधित करता है। शोधकर्ताओं ने मॉडल के बाकी मुख्य आर्किटेक्चर घटकों को अपरिवर्तित रखा, ताकि वे आधारभूत डिजाइन से Attention Residuals जोड़ने के असर की तुलना कर सकें।
कठिन विज्ञान प्रश्नों की परीक्षा GPQA-Diamond में स्कोर 36.9 से बढ़कर 44.4 हुआ, यानी 7.5 अंक का सुधार। कोड बनाने की क्षमता जांचने वाले HumanEval का स्कोर 59.1 से बढ़कर 62.2 हो गया। व्यापक ज्ञान मानक MMLU का स्कोर 73.5 से बढ़कर 74.6 हुआ।
कंप्यूटिंग की तुलना भी उपयोगी है। आधारभूत मॉडल से 1.25 गुना अधिक कंप्यूट इस्तेमाल करने वाले मॉडल जितनी प्रशिक्षण हानि हासिल करने का अर्थ है कि आधारभूत मॉडल के बजट का पांचवां हिस्सा बचा, यानी 20% कम कंप्यूट में वही नतीजा मिला। प्रशिक्षण हानि बताती है कि प्रशिक्षण के दौरान मॉडल के अनुमान लक्षित उत्तरों से कितने दूर हैं।
Moonshot ने अलग से कहा कि K3 में इस तकनीक से प्रशिक्षण दक्षता करीब 25% बढ़ी और अतिरिक्त लागत 2% से कम रही। मार्च के प्रयोग और K3 को लेकर बाद के दावे अलग-अलग मॉडल सेटिंग से संबंधित हैं; ऊपर दिए गए प्रकाशित बेंचमार्क के विस्तृत आंकड़े Kimi Linear के हैं।
स्कूल के हैकाथॉन से शोध टीम तक
चेन का जन्म 2009 में शेन्ज़ेन में हुआ था। Moonshot में शामिल होने से पहले उन्होंने किशोरों के लिए ओपन सोर्स समुदाय आयोजित किया, सॉफ्टवेयर बॉट बनाए और एआई सुरक्षा से लेकर भौतिकी तक के विषयों में रुचि ली।
विश्वविद्यालय में दाखिले की तैयारी के दौरान उन्होंने कुछ ऐसी गतिविधियां रोक दीं जिनमें उनकी रुचि नहीं थी और अपनी पसंद के विषय पढ़ने लगे। इसके बाद शोध तक उनका रास्ता स्वतंत्र अध्ययन, सार्वजनिक तकनीकी लेखन और सक्रिय शोधकर्ताओं से संपर्क के मेल से बना।
फरवरी 2025 में उन्होंने माध्यमिक स्कूल के छात्रों के लिए Moonshot AI के हैकाथॉन में ThirdArm के साथ हिस्सा लिया। यह एक अतिरिक्त रोबोटिक सहायक भुजा की कल्पना पर आधारित परियोजना थी। वहां उनकी मुलाकात MiraclePlus की संस्थापक टीम के सदस्य Dong Kehan से हुई, जिन्होंने उन्हें अत्याधुनिक तकनीक पर ध्यान देने के लिए प्रेरित किया।
इसके बाद DeltaNet पर लिखी एक तकनीकी पोस्ट पर शोधकर्ता Songlin Yang ने प्रतिक्रिया दी। यह चर्चा कैलिफोर्निया के पालो ऑल्टो स्थित स्टार्टअप Tilde Research के Ben Keigwin तक पहुंची और उसके काम पर बातचीत का रास्ता खुला। जुलाई 2025 में चेन 16 साल की उम्र में सात हफ्ते की इंटर्नशिप के लिए अकेले वहां गए।
चेन की सीखने की पद्धति में Gemini के साथ शोधपत्रों पर घंटों चर्चा करना, कठिन अंशों के स्क्रीनशॉट भेजना और आगे के सवाल पूछना शामिल था। उन्होंने कोड, ब्लॉग और शोधकर्ताओं की वेबसाइटें भी पढ़ीं और अहम फैसलों पर DeepSeek के शोधकर्ता Yuan Jingyang से सलाह ली।
उनका अनुभव चैटबॉट को शिक्षक की तरह इस्तेमाल करने भर तक सीमित नहीं है। सार्वजनिक लेखन से उनकी तकनीकी सोच सामने आई, शोधकर्ताओं ने उस पर प्रतिक्रिया दी और इंटर्नशिप ने उन्हें इस सोच को सहयोगी काम में बदलने के मौके दिए।
तेजी से आगे बढ़ने का घटनाक्रम
चेन दो साल से भी कम समय में स्कूल परियोजना से अंतरराष्ट्रीय इंटर्नशिप और फिर प्रकाशित मॉडल शोध तक पहुंचे। Attention Residuals को Kimi के एक बड़े संस्करण में शामिल किए जाने के बाद उन्होंने कंपनी छोड़ी।
- फरवरी 2025: चेन ने माध्यमिक स्कूल के छात्रों के लिए Moonshot के एआई हैकाथॉन में हिस्सा लिया।
- जुलाई 2025: उन्होंने पालो ऑल्टो स्थित Tilde Research में सात हफ्ते की इंटर्नशिप शुरू की।
- नवंबर 2025: वह 16 साल की उम्र में मशीन लर्निंग शोध इंटर्न के रूप में Moonshot की Kimi टीम में शामिल हुए।
- 16 मार्च 2026: Attention Residuals की तकनीकी रिपोर्ट प्रकाशित हुई, जिसमें चेन, Zhang और Su को समान श्रेय दिया गया।
- जून 2026: चेन ने हाई स्कूल की पढ़ाई पूरी की।
- जुलाई 2026: Attention Residuals समेत कई आर्किटेक्चर तकनीकों के साथ Kimi K3 लॉन्च हुआ।
- 15 अक्टूबर 2026: चेन ने Moonshot छोड़ने की घोषणा की।
- 16 अक्टूबर 2026: उन्होंने Anthropic में शामिल होने की अटकल खारिज की।
- 20 अक्टूबर 2026: एक अज्ञात खाते ने दावा किया कि वह Discovery Loop में शामिल हो रहे हैं।
उनकी सार्वजनिक शिक्षा-संबंधी जानकारी में अगस्त और सितंबर 2026 के दौरान Carnegie Mellon University में पढ़ाई का भी उल्लेख है। इस संक्षिप्त प्रविष्टि के चलते अटकलें लगी हैं कि उनका अगला कदम नौकरी होगा या आगे की पढ़ाई।
Anthropic का आमंत्रण और 10 लाख डॉलर की चर्चा
Anthropic में स्केलेबल रीइन्फोर्समेंट लर्निंग का नेतृत्व करने वाले Sholto Douglas ने चेन की विदाई पोस्ट पर टिप्पणी की। उन्होंने पूछा कि क्या चेन अब भी Carnegie Mellon जाने की योजना बना रहे हैं और उन्हें सैन फ्रांसिस्को में साथ काम करने का आमंत्रण दिया।
चेन ने जवाब दिया कि वह बे एरिया जा रहे हैं। इस बातचीत के बाद जब लोगों ने कहा कि वह Anthropic में शामिल हो गए हैं, तो उन्होंने संक्षिप्त जवाब दिया:
नहीं :)
वेतन को लेकर चर्चा अलग से शुरू हुई। Menlo Ventures के निवेशक Deedy Das ने एक 17 वर्षीय अज्ञात किशोर से मुलाकात का जिक्र किया। उनके मुताबिक, उस किशोर ने भाषा मॉडलों की मदद से खुद एआई सीखा था, एक प्रमुख एआई कंपनी में करीब एक साल इंटर्नशिप की थी और अमेरिका के एक प्रतिष्ठित स्नातक कार्यक्रम को दो हफ्ते बाद छोड़ दिया था।
Das के अनुसार, उस किशोर को सैन फ्रांसिस्को की प्रमुख एआई प्रयोगशालाओं से पांच प्रस्ताव मिले थे, जिनमें से हर एक की कीमत करीब 10 लाख डॉलर या उससे अधिक थी। Das ने यह भी बताया कि किशोर पैसे के बजाय सीखने को प्राथमिकता देता था।
सोशल मीडिया उपयोगकर्ताओं ने उम्र और शोध के इतिहास के कारण इस विवरण को चेन से जोड़ दिया। Das ने उस किशोर का नाम नहीं बताया और चेन ने पुष्टि नहीं की है कि ये प्रस्ताव उन्हें मिले थे। इसलिए चर्चा एक अज्ञात व्यक्ति को मिले प्रस्तावों की खबर पर केंद्रित है, चेन के किसी घोषित रोजगार समझौते पर नहीं।
Douglas का सार्वजनिक आमंत्रण दिलचस्पी का अधिक ठोस संकेत है: एक वरिष्ठ शोधकर्ता ने खुले तौर पर चेन को अपने साथ जुड़ने के लिए प्रोत्साहित किया। बाद में चेन के इनकार से Anthropic को लेकर लगाई जा रही अटकलों का सीधा जवाब भी मिल गया।
चर्चा में Discovery Loop क्यों आया
AI क्षेत्र में लोगों की आवाजाही पर नजर रखने वाले अज्ञात खाते Arfur Grok ने 20 अक्टूबर को दावा किया कि चेन कंपनी में शामिल हो गए हैं। इसके बाद Discovery Loop चर्चा का केंद्र बना। चेन ने नियुक्ति की पुष्टि नहीं की है और स्टार्टअप ने कर्मचारियों से जुड़े मामलों पर टिप्पणी करने से इनकार किया है।
कंपनी की स्थापना अगस्त 2026 में Google के पूर्व शोधकर्ताओं Jeff Dean, Sanjay Ghemawat, Quoc Le और Oriol Vinyals ने की थी। कंपनी का घोषित उद्देश्य एआई की मदद से विज्ञान और मशीन लर्निंग शोध को स्वचालित करना है, जिसमें विचार सुझाना, प्रयोग चलाना और नतीजों का विश्लेषण करना शामिल है।
मॉडल को कुशल बनाने में दिलचस्पी रखने वाले शोधकर्ता के लिए इस मिशन में परिचित तकनीकी समस्याएं होंगी। कई शोध प्रयोग चलाने वाले सिस्टम को कंप्यूटिंग संसाधनों का कुशलता से इस्तेमाल करना पड़ता है। एल्गोरिदम या कर्नेल में सुधार से तय बजट में अधिक प्रयोग संभव हो सकते हैं।
Discovery Loop की फंडिंग ने भी ध्यान खींचा है। बताया गया कि सितंबर में कंपनी ने करीब 50 अरब डॉलर के मूल्यांकन पर फंड जुटाने की कोशिश की, जबकि कुछ ही हफ्ते पहले करीब 10 अरब डॉलर के मूल्यांकन पर चर्चा हो रही थी। यह पांच गुना वृद्धि है। ये आंकड़े फंड जुटाने की बातचीत के दौरान कंपनी के प्रस्तावित मूल्यांकन बताते हैं।
Tilde Research में इंटर्नशिप के कारण चेन का बे एरिया से पहले से संपर्क है। वहां उनकी पिछली इंटर्नशिप बताती है कि कैलिफोर्निया की यात्रा में कई पेशेवर संपर्क शामिल हो सकते हैं, न कि सिर्फ एक स्पष्ट मंजिल।
उनके जाने से Moonshot में क्या छूटा
Moonshot के शोधकर्ता Du Yulun ने 16 साल की उम्र में चेन को नौकरी देने में मदद की थी। उन्होंने बताया कि चेन के फैसले पर दोनों के बीच कई लंबी बातचीत हुई थी। Du ने दुख जताया, लेकिन उनकी उम्र में नई रुचियां तलाशने की चेन की इच्छा का समर्थन किया।
चेन का योगदान टीम के शोध रिकॉर्ड का हिस्सा बना रहेगा। जुलाई में जारी Kimi K3 में 2.8 ट्रिलियन पैरामीटर थे और उसमें Attention Residuals को Kimi Delta Attention के साथ जोड़ा गया। दोनों सूचना प्रसंस्करण के अलग-अलग पहलुओं पर काम करते हैं: AttnRes मॉडल की परतों में सूचना के प्रवाह को बदलता है, जबकि KDA क्रमों को कुशलता से संसाधित करने में मदद करता है।
Moonshot ने K3 की स्केलिंग दक्षता में K2 के मुकाबले करीब 2.5 गुना सुधार का श्रेय आर्किटेक्चर में बदलाव, प्रशिक्षण विधियों और डेटा के चयन को संयुक्त रूप से दिया। इससे पता चलता है कि चेन का काम कंपनी के व्यापक प्रयास का हिस्सा था, जिसमें कई शोधकर्ता और अनेक तकनीकी बदलाव शामिल थे।
इसका व्यावहारिक महत्व एक असाधारण रूप से युवा कर्मचारी के करियर से आगे जाता है। अधिक कुशलता से सीखने वाला मॉडल महंगे प्रोसेसर और शोध बजट का बेहतर उपयोग कर सकता है। गणितीय डिजाइन को तेजी से काम करने वाले अमल से जोड़ सकने वाला शोधकर्ता इस लक्ष्य में सीधे योगदान दे सकता है।
चेन Moonshot छोड़ते समय प्रकाशित शोध, दो शोध वातावरणों का अनुभव और एक अन्य प्रमुख प्रयोगशाला की सार्वजनिक दिलचस्पी साथ ले जा रहे हैं। पुष्टि की गई कहानी अपने आप में उल्लेखनीय है: एक किशोर ने आर्किटेक्चर के विचार को उपयोगी विधि बनाने में मदद की और फिर अगली नौकरी की घोषणा किए बिना आगे की खोज जारी रखने का फैसला किया।
मुख्य बातें
- चेन गुआंगयु, जिन्हें Nathan Chen के नाम से भी जाना जाता है, ने 17 साल की उम्र में 15 अक्टूबर 2026 को Moonshot AI छोड़ने की घोषणा की।
- 16 मार्च को प्रकाशित Attention Residuals शोधपत्र में Yu Zhang और Jianlin Su के साथ उन्हें समान प्रथम लेखक का श्रेय मिला।
- Moonshot के प्रयोगों में जांचे गए सभी कार्यों में सुधार दिखा और 1.25 गुना अधिक कंप्यूट इस्तेमाल करने वाले आधारभूत मॉडल के बराबर नतीजे मिले।
- चेन ने Block AttnRes विकसित करने में मदद की और Kimi Delta Attention की गणनाओं को तेज करने पर काम किया।
- उन्होंने कहा कि वह बे एरिया जा रहे हैं और Anthropic में शामिल होने की अटकलों को खारिज किया।
- Discovery Loop में जाने का दावा और करीब 10 लाख डॉलर के पांच प्रस्तावों से उन्हें जोड़ने वाली अटकलें अब भी अपुष्ट हैं।






