MIT के शोधकर्ताओं का कहना है कि GPT-6 Astra ने वेट्स में सीधे बदलाव करके Qwen के गणित स्कोर बढ़ाए

एक छोटे संख्यात्मक बदलाव से स्कोर में बड़ी बढ़ोतरी हुई

MIT की कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लैबोरेटरी के शोधकर्ताओं का कहना है कि OpenAI के GPT-6 Astra ने Qwen के एक छोटे मॉडल का गणित स्कोर 7.9% से बढ़ाकर 48.1% कर दिया। इसके लिए उसके लगभग 80 करोड़ संख्यात्मक पैरामीटरों में से केवल 131,072 में बदलाव किया गया। इस हस्तक्षेप का लक्ष्य एक खास समस्या थी: मॉडल जवाब देने की जगह बार-बार पाठ तैयार करता रहता था, जब तक कि उसके लिए तय जगह खत्म न हो जाए।

Rikiya Takehi, Jayden Teoh, Alex Zhang और Omar Khattab ने इन प्रयोगों का विवरण 2 नवंबर की एक शोध पोस्ट में दिया, जिसका शीर्षक था “Sparks of Weight-Space Programming”। इसके बाद 3 नवंबर, 2026 की तारीख वाली कवरेज प्रकाशित हुई। इस तरीके में एक भाषा मॉडल दूसरे न्यूरल नेटवर्क के वेट्स का निरीक्षण और विश्लेषण करके उन्हें सीधे बदलता है। ये वे संख्याएं हैं जो तय करती हैं कि नेटवर्क जानकारी को कैसे संसाधित करता है।

सबसे मजबूत नतीजा Qwen3.5-0.8B में मिला। Astra द्वारा उसके लगभग 0.016% वेट्स बदलने के बाद MATH-500 पर उसकी सटीकता 40.2 प्रतिशत अंक बढ़ी, यानी मूल स्कोर से करीब छह गुना हो गई। GSM8K के गणितीय सवालों पर सटीकता 13.8% से बढ़कर 67.1% हुई, जबकि IFEval पर निर्देशों का पालन करने का स्कोर 21.0% से बढ़कर 62.3% हो गया, जो शुरुआती नतीजे से लगभग तीन गुना है।

ये प्रयोग गणित तक सीमित नहीं रहे। Astra ने छोटे नेटवर्कों के काम पहचाने, एक सिम्युलेटेड ड्राइविंग कंट्रोलर की मरम्मत की और नियमों तथा सोर्स कोड के आधार पर सीधे गेम खेलने वाले नेटवर्क बनाए। दूसरे परीक्षणों में सीमाएं भी सामने आईं: सिर्फ वेट्स देखकर वह यह पहचानने में संघर्ष करता रहा कि मॉडल उपयोगकर्ताओं से जरूरत से ज्यादा सहमति जता रहा है या नहीं। वहीं, दूसरे भाषा मॉडल में उसके बदलावों से गणितीय प्रदर्शन में बहुत कम सुधार हुआ।

डेवलपरों के लिए इसकी तात्कालिक संभावना मॉडल की मरम्मत का एक नया तरीका है। नेटवर्क को पारंपरिक प्रशिक्षण के एक और दौर से गुजारने के बजाय, AI सहायक किसी खराबी की जांच करके उसे पैदा करने वाली संख्यात्मक संरचना में बदलाव कर सकता है। Qwen का नतीजा यह भी दिखाता है कि स्कोर में बढ़ोतरी जितना ही अहम है, यह समझना कि खराबी किस तरह की है।

वेट्स को प्रोग्राम करने का असल में क्या मतलब है?

न्यूरल नेटवर्क गणनाओं की परतों के जरिए इनपुट को आउटपुट में बदलता है। उसके वेट्स तय करते हैं कि अलग-अलग घटकों के बीच संकेत कितनी मजबूती से आगे बढ़ेंगे। आम तौर पर प्रशिक्षण में इन संख्याओं को बार-बार बदला जाता है। उदाहरणों और त्रुटि के गणितीय माप के आधार पर तय होता है कि कौन-से बदलाव उपयोगी हैं।

इन बदलावों की गणना करने का एक आम तरीका ग्रेडिएंट डिसेंट है। इसमें अनुमान लगाया जाता है कि त्रुटियां घटाने के लिए वेट्स को किस दिशा में बदलना चाहिए। इन प्रयोगों में Astra ने लक्ष्य नेटवर्क का विश्लेषण करके खुद बदलाव लिखे; संपादन की गणना करने वाला कोई प्रशिक्षण चक्र नहीं था।

MIT CSAIL में पीएचडी छात्र Takehi ने सोशल मीडिया पर एक बयान में प्रस्तावित प्रक्रिया का वर्णन किया:

प्रशिक्षण के बजाय, मॉडल कच्चे वेट्स को पढ़े और बदले जा सकने वाले कोड की तरह देख सकते हैं: खराबियों का पता लगाकर उन्हें सीधे ठीक कर सकते हैं।

इसकी तुलना सॉफ्टवेयर की मरम्मत से करना उपयोगी है। खराब एप्लिकेशन की जांच करता प्रोग्रामर दोषपूर्ण फंक्शन ढूंढ़कर उसे फिर से लिख सकता है। यहां Astra ने संख्यात्मक संरचनाओं में ऐसे पैटर्न तलाशे जो अनचाहे व्यवहार से जुड़े थे। न्यूरल नेटवर्क के वेट्स को समझना आम सॉफ्टवेयर की तुलना में कठिन है, क्योंकि आम तौर पर उनमें इंसानों के लिए समझने योग्य ऐसे नाम नहीं होते जो उनके काम का खुलासा करें।

प्रयोगों में Astra को अलग-अलग स्तर की मदद दी गई। कुछ में उसे केवल वेट्स और आर्किटेक्चर का विवरण मिला। अन्य में Python का वातावरण, उदाहरण या लक्ष्य मॉडल चलाने की अनुमति दी गई। Qwen के मामले में पारंपरिक प्रशिक्षण न होने के बावजूद काफी गणना, अभ्यास के सवाल और परीक्षण शामिल थे।

Astra ने Qwen को बार-बार दोहराने से कैसे रोका

Qwen का शुरुआती व्यवहार Astra के लिए जांच करने की एक असामान्य रूप से स्पष्ट समस्या था। 96 सवालों के शुरुआती समूह में 85 जवाब अधिकतम 32,768 टोकन की सीमा तक पहुंच गए। टोकन वे पाठ खंड हैं जिन्हें भाषा मॉडल पढ़ता और बनाता है; वे अक्सर शब्द या शब्दों के हिस्से होते हैं। इन अधूरे जवाबों में से करीब 95% का अंत दोहराव पर हुआ।

बड़े MATH-500 मूल्यांकन में भी यही समस्या दिखी: शुरुआती मॉडल के 93.0% जवाब टोकन सीमा तक पहुंचे। Astra ने बार-बार दोहराने वाले व्यवहार को लेयर 15 और 19 के फीडफॉरवर्ड घटकों के आउटपुट से जुड़े एक संख्यात्मक पैटर्न से जोड़ा। ये घटक, जिन्हें अक्सर मल्टिलेयर परसेप्ट्रॉन या MLP कहा जाता है, हर लेयर के भीतर जानकारी को बदलते हैं।

संख्यात्मक दिशा किसी एक स्विच के बजाय कई मानों में फैला हुआ पैटर्न होती है। Astra ने दोनों लेयरों में 64 आउटपुट कॉलम से दोहराव से जुड़ी दिशा घटा दी। इससे 131,072 वेट्स बदले और MATH-500 पर टोकन सीमा तक पहुंचने वाले जवाबों का हिस्सा घटकर 33.1% रह गया।

सुधारे गए जवाबों का पैटर्न इस सुधार को समझने में मदद करता है। अलग रखे गए 1,152 सवालों में 579 जवाब गलत से सही हुए, जबकि पांच जवाब सही से गलत हो गए। 579 बेहतर जवाबों में से 576 पहले आउटपुट सीमा पर कट गए थे। इसलिए ज्यादातर सुधार तब हुए जब बदले हुए मॉडल ने उन जवाबों को पूरा किया जिन्हें पहले उसका दोहराव बीच में रोक देता था।

बदलाव के बाद भी MATH-500 के करीब एक-तिहाई जवाबों में आउटपुट की सीमा खत्म हो गई। परीक्षण की परिस्थितियों में बदला हुआ नेटवर्क काफी उपयोगी साबित हुआ, लेकिन बार-बार दोहराना एक बड़ी समस्या बना रहा।

बदलाव खोजने में घंटों की जांच लगी

Qwen पर Astra के सबसे अच्छे प्रयास में 50 मूल्यांकन अनुरोधों की सीमा थी। हर अनुरोध में सैकड़ों उदाहरण शामिल हो सकते थे। जांच में बातचीत के 158 चरण, Python के 80 रन और 20.3 घंटे लगे। इसमें सेवा बाधित रहने के दौरान इंतजार के 4.7 घंटे भी शामिल थे।

काम के वातावरण में GSM8K और MATH प्रशिक्षण सेटों के 14,000 से अधिक अभ्यास सवाल, Qwen के वेट्स तक पहुंच और CPU पर चलने वाला Python सैंडबॉक्स शामिल था। सैंडबॉक्स में अधिकतम 300 कोड रन की अनुमति थी। दूसरे प्रयासों में मूल्यांकन अनुरोधों की सीमा 10 या 25 थी।

रिपोर्ट किए गए सटीकता के आंकड़े एक खास टेक्स्ट जनरेशन सेटअप से जुड़े हैं। मूल्यांकन में थिंकिंग मोड, 32,768 टोकन की आउटपुट सीमा और 0.6 का टेम्परेचर इस्तेमाल हुआ। टेम्परेचर तय करता है कि अगला टोकन चुनने में कितनी अनियमितता हो। मॉडल कार्ड थिंकिंग मोड में टेक्स्ट कार्यों के लिए 1.0 टेम्परेचर की सिफारिश करता है। शुरुआती व्यवहार को दोहराने और नतीजों की तुलना करने में यह अंतर मायने रखता है।

काम का क्रम यह था:

• शोधकर्ताओं ने Astra को लक्ष्य मॉडल, अभ्यास सवाल और वेट्स की जांच तथा व्यवहार के परीक्षण के लिए टूल दिए।
• Astra ने दोहराए जाने वाले आउटपुट की जांच की और लेयर 15 तथा 19 में लक्षित बदलाव तैयार किया।
• मूल्यांकन में गणित और निर्देशों के पालन में सुधार, साथ ही आउटपुट सीमा तक पहुंचने वाले जवाबों में कमी मापी गई।
• टीम ने 2 नवंबर को काम का विवरण दिया और कहा कि वह एक बेंचमार्क तथा परीक्षण ढांचा बना रही है।

अंतिम बदलाव छोटा था, लेकिन उसे खोजने की प्रक्रिया कहीं बड़ी थी। पारंपरिक फाइन-ट्यूनिंग की तुलना में इस तरीके से समय या कंप्यूटिंग संसाधन बचते हैं या नहीं, यह अभी व्यावहारिक रूप से खुला सवाल है।

संख्याओं से गेम, आकार और भाषा पहचानना

Astra के निरीक्षण परीक्षण चार गेम खेलने वाले नेटवर्कों से शुरू हुए। इन्हें प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) नाम की रीइन्फोर्समेंट लर्निंग विधि से प्रशिक्षित किया गया था, जिसमें रिवॉर्ड के जरिए व्यवहार बेहतर किया जाता है। नेटवर्कों की संरचना, इनपुट और संभावित कार्रवाइयां एक जैसी थीं। संभावित गेमों की सूची दिए बिना Astra ने उनकी पहचान Breakout, Pong, Pac-Man और Freeway के रूप में की।

शोधकर्ताओं के मुताबिक Astra ने पहली लेयर के पैटर्न और आउटपुट लेयर द्वारा कार्रवाइयां चुनने के तरीकों में अंतर की जांच की। Breakout की पहचान वाले उदाहरण में उसने अपने जवाब पर 99% भरोसा जताया। यह भरोसा पहचान के बारे में Astra का अपना आकलन था।

तीन छोटे डिफ्यूजन मॉडल ने एक और परीक्षा दी। हर मॉडल ने वृत्त, त्रिकोण या वर्ग बनाना सीखा था। उन्हें चलाए बिना Astra ने आउटपुट लेयर के वेट्स में रूपरेखा ढूंढ़कर आकारों की पहचान की। उसके बनाए चित्र खोखले थे, जबकि मॉडल ठोस आकार बनाते थे। यह असामान्य बात उसकी व्याख्या को उस संख्यात्मक संरचना से जोड़ती थी जिसका उसने निरीक्षण किया था।

भाषा की पहचान के लिए 72 लाख पैरामीटर वाले तीन मॉडल इस्तेमाल हुए। इन्हें Python कोड, रोमन लिपि में लिखी जापानी भाषा या अंग्रेजी में अगला अक्षर अनुमानित करने के लिए प्रशिक्षित किया गया था। Astra को सिर्फ बीच की लेयरें दी गईं और उसने दोनों प्रयासों में प्रशिक्षण भाषा की सही पहचान की।

Astra ने मॉडल के कॉपी हेड भी खोजे। ये अटेंशन घटक पहले देखे गए पाठ को दोहराने में मदद करते हैं। Python मॉडल में ऐसे हेड ज्यादा थे, जो कोड में एक ही वेरिएबल और फंक्शन नामों के बार-बार इस्तेमाल के अनुरूप है। रोमन लिपि वाली जापानी भाषा के मॉडल में उसके अंतिम मॉड्यूल द्वारा लिखी गई दिशाएं कम थीं, जो आम तौर पर इस्तेमाल होने वाले अक्षरों की कम संख्या के अनुरूप है।

कार की मरम्मत और गेम खेलने वाले नेटवर्क बनाना

Kinetix वातावरण में एक सिम्युलेटेड कार ने अनुपयोगी आदत सीख ली थी: वह ढलान की ओर जाकर फंस जाती थी। पहले पीछे जाने से आगे सफलतापूर्वक चढ़ने के लिए पर्याप्त जगह मिल सकती थी। कंट्रोलर के वेट्स, दृश्य का विवरण और एक दर्ज विफलता मिलने पर Astra ने बिना किसी टूल के एक ही जवाब में सुधार दिया।

इस बदलाव में 3.5% वेट्स बदले और सभी 1,024 परीक्षण सफल रहे। Astra ने नेटवर्क में कार की स्थिति और गति दर्ज करने के लिए एक छोटा रास्ता जोड़ा, फिर कार के एक निशान पार करने के बाद नियंत्रण मूल नेटवर्क को लौटा दिया।

MinAtar के Breakout, Seaquest और Asterix गेमों में Astra को एक अलग काम दिया गया: शुरुआत से पॉलिसी नेटवर्क लिखना। पॉलिसी नेटवर्क गेम की स्थिति को एक कार्रवाई में बदलता है। Astra को नियम, सोर्स कोड और जरूरी आर्किटेक्चर दिया गया, लेकिन प्रशिक्षण के उदाहरण, ग्रेडिएंट गणनाएं, टूल या मूल्यांकन से पहले गेम खेलने का मौका नहीं मिला।

तीनों गेमों में उसके नेटवर्क ने 10 करोड़ चरणों तक प्रशिक्षित PPO बेसलाइन से बेहतर प्रदर्शन किया। संख्यात्मक अंतर Breakout में सबसे बड़ा था: Astra ने 517.4 स्कोर किया, जबकि 10 करोड़ चरणों पर प्रशिक्षित बेसलाइन का स्कोर 15.8 और 50 करोड़ चरणों पर प्रशिक्षित बेसलाइन का 25.3 था। बाद वाली तुलना में करीब 20 गुना का अंतर है।

यह बढ़त हर गेम में एक जैसी नहीं थी। 50 करोड़ चरणों पर प्रशिक्षित PPO मॉडल के मुकाबले Astra का प्रदर्शन Asterix में लगभग बराबर रहा और Seaquest में उसने करीब 60% स्कोर हासिल किया। Breakout के लिए उसके डिजाइन ने एक स्पष्ट रणनीति को वेट्स में बदला: अनुमान लगाना कि गेंद कहां गिरेगी, फिर पैडल को उस जगह की ओर ले जाना।

Go के बड़े नेटवर्क के लिए अलग कार्यप्रवाह की जरूरत पड़ी

Go के प्रयोग में लगभग 15 लाख पैरामीटर वाला नेटवर्क इस्तेमाल हुआ, जो Astra की कॉन्टेक्स्ट विंडो में सीधे रखने के लिए बहुत बड़ा था। कॉन्टेक्स्ट विंडो वह जानकारी की मात्रा है जिसे मॉडल एक बार में संभाल सकता है। इसके बजाय शोधकर्ताओं ने वेट्स की जांच और उनमें बदलाव के लिए Python सैंडबॉक्स दिया।

इस आर्किटेक्चर में 243 इनपुट, 512 यूनिट वाली छह हिडन लेयर और 82 आउटपुट थे। Astra ने इसे एक संक्षिप्त Go प्रोग्राम की तरह व्यवस्थित किया: शुरुआती लेयरें पत्थरों और लाइबर्टीज को दर्शाती थीं। लाइबर्टीज वे खाली पड़ोसी बिंदु हैं जो किसी समूह को जीवित रखते हैं। बीच की लेयरें जुड़े समूहों के बीच जानकारी भेजकर खतरे पहचानती थीं।

अंतिम लेयर विरोधी के पत्थर पकड़ने, खतरे में पड़े समूहों को बचाने, आंखों की रक्षा करने और अटारी से बचने के लिए चालों का स्कोर तय करती थी। अटारी वह स्थिति है जिसमें किसी समूह की केवल एक लाइबर्टी बचती है। यह रणनीति बार-बार गेम खेलने से सीखने के बजाय संख्यात्मक वेट्स के जरिए तैयार की गई थी।

प्रदर्शन का कोई मूल्यांकन किए बिना Astra के नेटवर्क ने दो छोटे PPO नेटवर्कों के खिलाफ आधे से ज्यादा गेम जीते। 50 मूल्यांकन की सीमा मिलने पर उसने 2 करोड़ गेमों पर प्रशिक्षित, समान आकार के नेटवर्क से बेहतर प्रदर्शन किया। फीडबैक से Astra हार की जांच कर सका और खेल बेहतर करने वाले बदलाव बनाए रख सका।

दो कठिन परीक्षणों ने सीमाएं दिखाईं

Gemma 3 270M ने Qwen के मुकाबले एक उपयोगी तुलना दी। उसमें दोहराव के चक्रों में फंसने की आशंका बहुत कम थी। इसके बजाय Astra ने गणित की आम गलतियां खोजीं, जैसे अंकगणित की चूक और बीजगणित के गलत चरण। छोटे बदलावों से, जिनमें संख्याओं पर प्रतिक्रिया देने वाले एक न्यूरॉन की ताकत दोगुनी करना भी शामिल था, MATH-500 की सटीकता में करीब एक प्रतिशत अंक से ज्यादा सुधार नहीं हुआ।

यह तुलना एक व्यावहारिक अंतर दिखाती है। किसी दोहराए जाने वाले व्यवहार को हटाने से मॉडल अपनी पहले से मौजूद क्षमताओं का इस्तेमाल कर सकता है। गणित की कई तरह की गलतियां सुधारने के लिए एक साझा संख्यात्मक पैटर्न हटाने से कहीं व्यापक समाधान चाहिए।

साइकोफैंसी, यानी उपयोगकर्ता के गलत होने पर भी उससे सहमत होने की प्रवृत्ति, को सीधे जांचना कठिन साबित हुआ। शोधकर्ताओं ने एक ही सवाल और जवाब के डेटा पर Gemma 3 270M मॉडल के दो संस्करणों को फाइन-ट्यून किया। एक मॉडल को सही जवाब देने और दूसरे को उपयोगकर्ता के सुझावों से सहमत होने के लिए प्रशिक्षित किया गया।

Astra केवल वेट्स देखकर दोनों में भरोसेमंद ढंग से अंतर नहीं कर सका। जब उसे अपने लिखे पाठ पर अटेंशन पैटर्न देखने की अनुमति दी गई, लेकिन मॉडल के जवाब देखने की नहीं, तो उसने तीनों जोड़ों में साइकोफैंटिक मॉडल की सही पहचान की। वे मॉडल बीच की लेयरों में उपयोगकर्ता द्वारा सुझाई गई बातों पर ज्यादा अटेंशन देते थे।

अटेंशन माप बताते हैं कि पाठ संभालते समय मॉडल अपनी कुछ प्रोसेसिंग कहां केंद्रित करता है। यहां इन मापों की उपयोगिता से पता चला कि सफल निदान के लिए मॉडल को चलाकर निरीक्षण करना अहम था। जरूरत से ज्यादा सहमति का पता लगाना एक काम था; उस व्यवहार को बदलना एक अलग प्रस्तावित उपयोग है।

शोधकर्ता आगे क्या जांचना चाहते हैं

MIT की टीम को मॉडल निरीक्षण, लक्षित मरम्मत, पारंपरिक प्रशिक्षण डेटा के बिना क्षमताएं बदलने और अलग-अलग आर्किटेक्चर के बीच उपयोगी घटक स्थानांतरित करने में संभावित उपयोग दिखते हैं। सीधे मॉडल संपादन पर पहले से शोध हुआ है, जिसमें NeurIPS 2022 में प्रस्तुत ROME और ICLR 2023 में प्रस्तुत MEMIT शामिल हैं। यह काम ऐसे सामान्य प्रयोजन वाले भाषा मॉडल के विचार की पड़ताल करता है जो खुद संपादनों के बारे में तर्क करता है।

रिकर्सिव सेल्फ-इम्प्रूवमेंट भी एक प्रस्तावित दिशा है: AI सिस्टम किसी मॉडल को बेहतर बनाने में मदद कर सकता है और फिर वही मॉडल आगे सुधार करने में अधिक सक्षम हो सकता है। इन प्रयोगों में कार्य, टूल और मूल्यांकन की सीमाएं इंसानों ने तय कीं और Astra ने दूसरे नेटवर्कों पर काम किया। भरोसेमंद ढंग से यह चक्र बार-बार चलाने के लिए और प्रयोगों की जरूरत होगी।

टीम ने प्रयोगों के लॉग और संपादन से जुड़ी सामग्री जारी की। सार्वजनिक रिपॉजिटरी के बारे में बताया गया कि उसमें मॉडल कॉल के 1,125 रिकॉर्ड हैं। टीम का अगला घोषित कदम एक बेंचमार्क और व्यवस्थित मूल्यांकन के लिए प्रयोग ढांचा बनाना है। इसकी कोई रिलीज तारीख नहीं बताई गई।

AI एप्लिकेशन बनाने वालों के लिए सबसे ठोस नतीजा सीमित दायरे का और आसानी से समझ आने वाला है: जब बार-बार होने वाली खराबी मॉडल को उपयोगी काम पूरा करने से रोकती है, तो छोटा संख्यात्मक सुधार बड़ा बदलाव ला सकता है। Gemma और साइकोफैंसी के विपरीत नतीजे दिखाते हैं कि हर संभावित सुधार के लिए अलग निदान और परीक्षण जरूरी होगा।

मुख्य बातें

• Astra ने Qwen के 131,072 वेट्स बदले, जो मॉडल का करीब 0.016% है। इससे MATH-500 की सटीकता 7.9% से बढ़कर 48.1% हो गई।
• GSM8K की सटीकता 13.8% से बढ़कर 67.1% हुई और IFEval का स्कोर 21.0% से बढ़कर 62.3% हो गया।
• मुख्य सुधार ने बार-बार दोहराए जाने वाले आउटपुट को घटाया; MATH-500 पर टोकन सीमा तक पहुंचने वाले जवाब 93.0% से घटकर 33.1% रह गए।
• Qwen पर सबसे अच्छे प्रयास में 50 मूल्यांकन अनुरोध लगे और सेवा बाधित रहने का समय मिलाकर 20.3 घंटे लगे।
• Astra ने सिम्युलेटेड कार कंट्रोलर की मरम्मत की और सरल गेमों तथा Go के लिए नेटवर्क लिखे।
• Gemma में गणित का सुधार मामूली रहा, जबकि साइकोफैंसी की पहचान के लिए अटेंशन माप की जरूरत पड़ी।
• शोधकर्ता वेट-स्पेस प्रोग्रामिंग के लिए बेंचमार्क और परीक्षण ढांचा विकसित कर रहे हैं।