DeepSeek के 294,000 डॉलर में प्रशिक्षण के दावे की पड़ताल: R1 पर वास्तव में लाखों डॉलर क्यों खर्च हुए

पढ़ने में 15 मिनट
Secrets of Chinese AI Model DeepSeek Revealed in Landmark Paper ...

294,000 डॉलर की कीमत ने AI जगत को क्यों चौंकाया

जब DeepSeek ने अपने रीजनिंग मॉडल R1 पर सहकर्मी-समीक्षित शोधपत्र Nature में प्रकाशित किया, तो एक आंकड़े ने दुनिया का ध्यान खींचा: 294,000 डॉलर। सुर्खियों में कहा गया कि इस प्रमुख मॉडल को अमेरिकी प्रतिद्वंद्वियों के कथित खर्च के एक छोटे से हिस्से में प्रशिक्षित किया गया। यह आंकड़ा सही था, लेकिन काम के एक सीमित हिस्से पर लागू होता था। यह राशि अंतिम सुदृढीकरण-शिक्षण चरण पर खर्च हुई, जिसने मॉडल की चरण-दर-चरण तर्क क्षमता को बेहतर बनाया। इसमें उस कहीं बड़े आधार मॉडल पर महीनों तक किया गया पूर्व-प्रशिक्षण शामिल नहीं था, जिस पर R1 निर्भर है।

विषय-सूची
  1. 294,000 डॉलर की कीमत ने AI जगत को क्यों चौंकाया
  2. Nature के शोधपत्र में असल में क्या कहा गया है
  3. R1 को बनाने का असली खर्च V3 के पूर्व-प्रशिक्षण से शुरू होता है
  4. GPU घंटे का हिसाब कैसे होता है
  5. सुदृढीकरण-शिक्षण अंतिम चरण है, पूरा काम नहीं
  6. चिप, निर्यात नियम और DeepSeek ने असल में क्या इस्तेमाल किया
  7. क्या DeepSeek की लागत पश्चिमी प्रतिद्वंद्वियों से बहुत कम थी
  8. लागत और पहुंच पर विशेषज्ञों की राय
  9. डेटा, डिस्टिलेशन और प्रशिक्षण डेटा में संभवतः क्या था
  10. 294,000 डॉलर वाली सुर्खी क्यों फैली और यह क्यों मायने रखती है
  11. AI की लागत और प्रतिस्पर्धा के लिए इसका क्या मतलब है
  12. मुख्य बातें

R1 का प्रदर्शन DeepSeek V3 पर आधारित है, जो एक बड़ा भाषा मॉडल है और जिसे विशाल कंप्यूट क्लस्टर का इस्तेमाल करके बहुत बड़े डेटा-संग्रह पर प्रशिक्षित किया गया। इस महंगी बुनियाद के तैयार होने के बाद ही टीम ने सुदृढीकरण-शिक्षण के जरिए मॉडल की तार्किक क्षमता और समस्या-समाधान को बेहतर दिशा दी। अंतिम चरण को पूरे प्रोजेक्ट के बराबर मान लेने से एक विशिष्ट लागत का आंकड़ा सुर्खियों में छा गया।

यह फर्क अहम है। कोडिंग और गणित में बेहतरीन प्रणालियों की बराबरी करने वाला मॉडल कुछ चिप रैक पर एक सप्ताहांत में तैयार नहीं होता। इसके लिए लगातार कंप्यूट क्षमता, डेटा का व्यापक चयन और परिष्करण, बार-बार प्रयोग, सावधानीपूर्वक सुरक्षा और मूल्यांकन कार्य तथा अंत में अनुकूलन का चरण चाहिए। Nature के शोधपत्र ने इस अंतिम चरण की अहम जानकारी दी। लेकिन इससे पहले किए गए कठिन और बड़े काम का महत्व कम नहीं हुआ।

Nature के शोधपत्र में असल में क्या कहा गया है

R1 की पूरक सामग्री में 512 Nvidia H800 GPU पर किए गए सुदृढीकरण-शिक्षण का ब्योरा है। इसमें शुरुआती R1 Zero प्रशिक्षण अवधि लगभग 198 घंटे और जारी किए गए R1 तक पहुंचने के लिए 80 घंटे का अतिरिक्त प्रशिक्षण बताया गया है। टीम ने इस प्रक्रिया में इस्तेमाल किए गए वरीयता डेटा को तैयार करने के लिए लगभग 5,000 GPU घंटे भी दर्ज किए। H800 श्रेणी के एक्सेलरेटर की सामान्य किराये की दरों से गणना करें, तो इन चरणों की कुल लागत 300,000 डॉलर से कुछ कम बैठती है। यह आंकड़ा नए सिरे से अत्याधुनिक मॉडल बनाने के लिए जरूरी पूरे समय और कंप्यूट क्षमता की लागत नहीं दर्शाता।

शोधपत्र में हार्डवेयर के संदर्भ को भी स्पष्ट किया गया है। DeepSeek ने R1 को मुख्य रूप से H800 पर प्रशिक्षित किया। ये वे चिप हैं जिन्हें Nvidia ने चीन के लिए डिजाइन किया था, क्योंकि अमेरिकी निर्यात नियमों ने अधिक शक्तिशाली एक्सेलरेटर तक पहुंच सीमित कर दी थी। टीम ने छोटे मॉडल के साथ तैयारी के काम में A100 GPU इस्तेमाल करने की बात मानी और फिर R1 के मुख्य सुदृढीकरण-शिक्षण प्रशिक्षण के लिए H800 पर काम किया। तकनीकी विवरण और लागत के आंकड़े पत्रिका Nature में प्रकाशित सहकर्मी-समीक्षित सामग्री में देखे जा सकते हैं।

विज्ञापन

R1 को बनाने का असली खर्च V3 के पूर्व-प्रशिक्षण से शुरू होता है

DeepSeek की अपनी सामग्री सबसे बड़े लागत-केंद्र की ओर इशारा करती है: V3 आधार मॉडल का पूर्व-प्रशिक्षण, जिस पर R1 आधारित है। V3 को 2,048 H800 GPU पर लगभग दो महीने तक प्रशिक्षित किया गया। यह अवधि करीब 2.79 मिलियन GPU घंटे के बराबर है। इस श्रेणी के हार्डवेयर के लिए प्रति GPU घंटे लगभग 2 डॉलर की सावधानीपूर्ण किराया-दर मानें, तो केवल पूर्व-प्रशिक्षण की लागत करीब 5.58 मिलियन डॉलर बैठती है। सुदृढीकरण-शिक्षण और उससे जुड़े डेटा निर्माण पर खर्च हुए लगभग 294,000 डॉलर जोड़ने पर, R1 के जारी संस्करण तक पहुंचने का कंप्यूट खर्च करीब 5.87 मिलियन डॉलर हो जाता है।

यह अनुमान शोधपत्र की उस व्याख्या के अनुरूप है कि R1 के 294,000 डॉलर आधार मॉडल की लागत के अतिरिक्त हैं। यह बाहरी विश्लेषणों से भी मेल खाता है, जिनके अनुसार R1 का कुल कंप्यूट स्तर दूसरे बड़े ओपन मॉडल के समान दायरे में है। सबसे बड़े बंद मॉडलों के कथित बजट की तुलना में यह अब भी कम लगता है, लेकिन 300,000 डॉलर से कम की एक सुर्खी से जो बेहद सस्ते मॉडल की छवि बनती है, वास्तविक खर्च उससे काफी अधिक है।

GPU घंटे का हिसाब कैसे होता है

GPU घंटे कंप्यूट क्षमता मापने का एक सीधा तरीका है: एक GPU का एक घंटे तक चलना एक GPU घंटा होता है। किसी प्रशिक्षण प्रक्रिया के कुल GPU घंटे, इस्तेमाल किए गए GPU की संख्या को दर्ज घंटों से गुणा करके निकाले जाते हैं। इन घंटों की कीमत बाजार की दर से तय होती है, चाहे GPU क्लाउड से किराये पर लिए गए हों या अपने हार्डवेयर के मूल्यह्रास और संचालन की लागत जोड़ी जाए। महीनों तक 2,000 से अधिक एक्सेलरेटर किराये पर लेने वाले डेवलपर को प्रति घंटे भुगतान करना पड़ता है। वही क्लस्टर खरीदने पर डेवलपर को पूंजीगत खर्च पहले करना होगा, फिर बिजली, कूलिंग, जगह और रखरखाव का भुगतान करना होगा।

इस स्तर का क्लस्टर खरीदना एक प्रशिक्षण प्रक्रिया के लिए किराये पर लेने से कहीं महंगा होगा। 2,048 H800 श्रेणी के GPU, नेटवर्किंग और सर्वर की व्यवस्था पर मौजूदा बाजार कीमतों के हिसाब से 51 मिलियन डॉलर से कहीं अधिक खर्च आएगा। इसमें इंजीनियरिंग का समय, डेटा लाइसेंस, मूल्यांकन का काम, स्टोरेज और सफल संस्करण से पहले किए गए कई असफल प्रयोग शामिल नहीं हैं। 5.87 मिलियन डॉलर को बड़े सफल प्रशिक्षणों की लागत समझना बेहतर है, न कि उस शोध की पूरी लागत, जिसने उन्हें संभव बनाया।

विज्ञापन

सुदृढीकरण-शिक्षण अंतिम चरण है, पूरा काम नहीं

सुदृढीकरण-शिक्षण वांछित परिणामों को पुरस्कृत करके प्रशिक्षित मॉडल के व्यवहार को बदलता है। R1 प्रोजेक्ट में DeepSeek ने ऐसी तकनीक इस्तेमाल की, जिसमें जवाबों को अंक दिए गए और मॉडल को उन समाधानों की ओर बढ़ाया गया जो सही नतीजे तक पहुंचे। शोधकर्ता इस तरीके को शुद्ध सुदृढीकरण-शिक्षण कहते हैं। इसमें इंसानों द्वारा लिखी गई विचार-श्रृंखलाओं की जरूरत नहीं होती। मॉडल खुद रास्ते खोजता और परखता है, सही जवाब के लिए संकेत पाता है और धीरे-धीरे तर्क करने की अपनी आंतरिक रणनीति बेहतर बनाता है।

यह अंतिम चरण उपयोगी है। इससे गणित, कोडिंग और वैज्ञानिक कामों में बेहतर प्रदर्शन हासिल किया जा सकता है, जहां लक्ष्य ऐसा नतीजा पाना होता है जिसे सत्यापित किया जा सके। यह पूर्व-प्रशिक्षण से काफी सस्ता भी है। बड़ा काम उन महीनों के प्रशिक्षण में होता है, जिनसे आधार मॉडल को भाषा का ज्ञान और व्यापक क्षमताएं मिलती हैं। इसके बाद सुदृढीकरण-शिक्षण इन क्षमताओं को चरणबद्ध तर्क और टूल के इस्तेमाल जैसे खास लक्ष्यों के लिए ढालता है।

चिप, निर्यात नियम और DeepSeek ने असल में क्या इस्तेमाल किया

DeepSeek ने चिप की सीमित आपूर्ति के बीच मॉडल को प्रशिक्षित किया। अमेरिका ने चीन को अधिक शक्तिशाली एक्सेलरेटर के निर्यात पर रोक लगाई थी। इसी वजह से Nvidia के डेटा सेंटर GPU का निर्यात नियमों के अनुकूल, कम क्षमता वाला संस्करण H800, DeepSeek की सामग्री में बार-बार दिखाई देता है। उद्योग जगत में चर्चा रही है कि चीन के शोधकर्ताओं ने तेज चिप तक पहुंचने के तरीके खोजे और हार्डवेयर के स्रोतों के संकेत पाने के लिए कंपनी के बयानों को बारीकी से पढ़ा गया। लागत के लिहाज से तस्वीर ज्यादा साफ है: R1 के सुदृढीकरण-शिक्षण चरण में 512 H800 का क्लस्टर इस्तेमाल हुआ, जबकि पहले की तैयारी में A100 पर भी काम किया गया।

अपनी पूरक सामग्री में टीम ने इस बात को स्वीकार किया। शोधकर्ताओं ने बताया कि H800 पर R1 का मुख्य प्रशिक्षण शुरू होने से पहले व्यवस्था तैयार करने में A100 की क्या भूमिका थी।

DeepSeek के शोधकर्ताओं ने लिखा: "DeepSeek-R1 पर अपने शोध के लिए हमने छोटे मॉडल के साथ प्रयोगों की तैयारी हेतु A100 GPU का इस्तेमाल किया।"

यह जानकारी बताती है कि अंतिम बजट और इस्तेमाल की गई चिपों का मिश्रण, दोनों एक साथ सही कैसे हो सकते हैं। मुख्य सुदृढीकरण-शिक्षण की लागत की गणना में H800 शामिल हैं, जबकि पहले के उन प्रयोगों में A100 का इस्तेमाल हुआ था, जिन्होंने इस तरीके को आकार दिया।

विज्ञापन

क्या DeepSeek की लागत पश्चिमी प्रतिद्वंद्वियों से बहुत कम थी

R1 को तैयार करने का कुल कंप्यूट खर्च 300,000 डॉलर के बजाय 6 मिलियन डॉलर के करीब है। फिर भी यह सबसे उन्नत बंद मॉडलों पर कथित तौर पर खर्च की गई नौ अंकों वाली रकम का एक छोटा हिस्सा है। GPU की संख्या और प्रशिक्षण अवधि के हिसाब से यह Meta के Llama 4 जैसे बड़े ओपन मॉडल के समान स्तर पर भी है, भले ही उन प्रोजेक्ट में अधिक टोकन इस्तेमाल हुए हों। यह अंतर दिलचस्प है, लेकिन इससे पूरी प्रक्रिया की लागत परिमाण के एक क्रम तक घट नहीं जाती।

कई लोग अब भी DeepSeek को कम लागत वाला अग्रणी इसलिए मानते हैं, क्योंकि उसकी टीम ने सीमाओं के बीच चिपों का बेहतर इस्तेमाल किया। कंपनी ने मिक्सचर-ऑफ-एक्सपर्ट्स डिजाइन को बड़े पैमाने पर अपनाया, जिसमें हर टोकन पर पैरामीटर के केवल एक छोटे हिस्से को सक्रिय किया जाता है। इससे प्रति GPU घंटे में अधिक काम होता है। कंपनी ने अनुमान के समय लंबे तर्क पर भी जोर दिया, जिससे कुछ भार पूर्व-प्रशिक्षण से हटकर मॉडल के बाद के इस्तेमाल पर चला जाता है।

शोधकर्ताओं ने डेटा के स्रोतों और मॉडलों के बीच ज्ञान हस्तांतरण पर भी बहस की है। DeepSeek ने अपने मॉडल पारिस्थितिकी तंत्र के कुछ हिस्सों में डिस्टिलेशन का इस्तेमाल किया है। इसमें एक शक्तिशाली मॉडल जवाब तैयार करता है, जिनसे छोटे या सस्ते मॉडल को प्रशिक्षित किया जाता है। टीम ने कहा है कि V3 आधार मॉडल ने ऐसे वेब क्रॉल से सीखा जिसमें AI से तैयार सामग्री शामिल थी और उसमें दूसरे सिस्टम के आउटपुट भी हो सकते हैं। शोधपत्र इसे तर्क की प्रक्रियाओं की जानबूझकर नकल करने के बजाय संयोगवश हुआ मामला बताता है। यह तकनीकी फर्क वकीलों और नीति-निर्माताओं के लिए अहम है। यह उन लोगों के लिए भी जरूरी है जो यह समझना चाहते हैं कि कम टोकन और कम कंप्यूट से डेवलपर कितना हासिल कर सकते हैं।

लागत और पहुंच पर विशेषज्ञों की राय

शिक्षाविदों ने DeepSeek के आंकड़ों को संतुलित नजरिए से देखने की सलाह दी है। वे कंपनी की वास्तविक इंजीनियरिंग क्षमता को सराहते हैं, लेकिन लागत की अतिसरलीकृत तुलना से आगाह करते हैं। प्रशिक्षण का बजट कम होने से बाजार में पहुंच सस्ती हो सकती है, लेकिन सुर्खियों में दिए गए आंकड़े अक्सर लोगों, प्रयोगों और बुनियादी ढांचे की लागत को छोड़ देते हैं।

वॉशिंगटन यूनिवर्सिटी इन सेंट लुइस में कंप्यूटर विज्ञान और इंजीनियरिंग के सहायक प्रोफेसर उमर इकबाल का तर्क है कि लागत घटने से पहुंच बढ़ सकती है। साथ ही उन्होंने क्लाउड के बड़े पैमाने पर AI इस्तेमाल से जुड़े निजता और सुरक्षा के सवालों की ओर भी ध्यान दिलाया है।

इकबाल ने कहा: "तकनीकों को व्यापक रूप से अपनाने के लिए उनका किफायती होना जरूरी है।" उन्होंने कहा कि विकास की कम लागत बड़े पैमाने पर अधिक प्रयोग संभव बना सकती है, लेकिन आगाह किया कि क्लाउड-आधारित AI सेवाओं से डेटा पर नियंत्रण और निजता को लेकर गंभीर सवाल उठते हैं।

DeepSeek के तकनीकी तरीके के समर्थकों ने भी आगाह किया है कि प्रशिक्षण की व्यापक रूप से साझा की गई कुल लागत एक अधूरा मानदंड है। उनका कहना है कि बार-बार किए गए प्रशिक्षण, ट्यूनिंग के दौर और डेटा पर हुए काम को एक बार में शुरू से अंत तक किए गए प्रशिक्षण के खर्च में नहीं गिना जाता।

डेटा, डिस्टिलेशन और प्रशिक्षण डेटा में संभवतः क्या था

डिस्टिलेशन में किसी अधिक शक्तिशाली सिस्टम के जवाबों से लक्ष्य मॉडल को प्रशिक्षित किया जाता है। डेवलपर लाखों उच्च-गुणवत्ता वाले प्रश्न-जवाब, कोड के उदाहरण या विचार-श्रृंखलाएं तैयार कर सकते हैं और फिर मॉडल को उसी तरह के नतीजे दोहराने के लिए फाइन-ट्यून कर सकते हैं। इससे पूर्व-प्रशिक्षण के सबसे महंगे हिस्सों को दोबारा चलाए बिना गुणवत्ता बेहतर हो सकती है। गणित और प्रोग्रामिंग जैसे क्षेत्रों में छोटी टीमों के लिए बड़ी प्रयोगशालाओं की कुछ क्षमताओं के करीब पहुंचना या उनकी बराबरी करना संभव होने का यह एक बड़ा कारण है।

DeepSeek ने कहा है कि उसके मॉडल परिवार के कुछ डिस्टिल किए गए संस्करण Meta के Llama जैसे ओपन-सोर्स सिस्टम से सीखते हैं। V3 के बारे में कंपनी ने बताया कि उसने व्यापक वेब क्रॉल का इस्तेमाल किया, जिसमें AI से तैयार जवाबों की काफी मात्रा थी। इस तरीके के फायदे और जोखिम दोनों हैं। इससे आम पैटर्न जल्दी सीखे जा सकते हैं, लेकिन साथ में अज्ञात लाइसेंस और गुणवत्ता से जुड़ी समस्याएं भी आ सकती हैं। Nature के शोधपत्र ने समुदाय को यह मांग करने के लिए प्रेरित किया कि इस्तेमाल किए गए डेटा और उसके समय के बारे में अधिक स्पष्टता दी जाए, और यह बताया जाए कि प्रक्रिया के किन हिस्सों में कृत्रिम लेबल का सहारा लिया गया।

विज्ञापन

294,000 डॉलर वाली सुर्खी क्यों फैली और यह क्यों मायने रखती है

294,000 डॉलर का आंकड़ा बताना आसान था और बाजार में हलचल मचाने के लिए काफी चौंकाने वाला भी। जनवरी में DeepSeek के शुरुआती मॉडल जारी होने पर ही यह डर फैल गया था कि कम लागत वाला प्रतिद्वंद्वी अमेरिकी अग्रणी कंपनियों को पीछे छोड़ देगा। निवेशकों ने चिप निर्माता कंपनियों और AI साझेदारों के शेयर बेचे। सहकर्मी-समीक्षित शोधपत्र ने एक आसान वाक्य के जरिए इसी चर्चा को फिर हवा दी, जो फुटनोट से कहीं तेजी से फैला। कई पाठकों और कुछ पत्रकारों ने सुदृढीकरण-शिक्षण को ही पूरी कहानी मान लिया।

शोधपत्र ने सिर्फ उत्साह नहीं जगाया। सार्वजनिक वैज्ञानिक रिकॉर्ड में ठोस आंकड़े और तरीके का विवरण देकर इसने पारदर्शिता का एक मानक स्थापित किया। समीक्षकों ने DeepSeek से मानवीय गुणों का आरोपण करने वाली भाषा कम करने और सुरक्षा, डेटा के स्रोतों तथा कंप्यूट क्षमता पर स्पष्टीकरण देने को कहा। यह विज्ञान और उद्योग, दोनों के लिए अच्छा है। इससे समुदाय को समझने में मदद मिलती है कि किन तकनीकों से सबसे अधिक फायदा हुआ और किन लागतों को घटाना अब भी मुश्किल है।

AI की लागत और प्रतिस्पर्धा के लिए इसका क्या मतलब है

मॉडल बनाने की अर्थव्यवस्था बदल रही है। कई वर्षों तक मॉडल का आकार बढ़ाने पर जोर देने के बाद अब कई टीमें सिर्फ डेटासेट और पैरामीटर की संख्या बढ़ाने के बजाय फाइन-ट्यूनिंग और मॉडल को तर्क करने के लिए अधिक समय देने पर जोर दे रही हैं। इससे लागत का कुछ हिस्सा अनुमान के समय पर चला जाता है, जब मॉडल हर सवाल के जवाब में ज्यादा देर तक सोचता है और अधिक कंप्यूट खर्च करता है। फिर भी अगर दक्षता में सुधार, अतिरिक्त तर्क-समय के खर्च से अधिक हो, तो अंतिम उपयोगकर्ताओं के लिए सेवा सस्ती हो सकती है।

DeepSeek का मिक्सचर-ऑफ-एक्सपर्ट्स डिजाइन, तर्क क्षमता के लिए सुदृढीकरण-शिक्षण का इस्तेमाल और चुनिंदा डिस्टिलेशन, उद्योग में अधिक मॉड्यूलर विकास की व्यापक दिशा के हिस्से हैं। मॉडल एक-दूसरे से सीखते हैं, छोटी टीमें बड़े आधार मॉडल पर निर्माण करती हैं और ओपन वेट स्टार्टअप को शुरुआती बढ़त देते हैं। यूरोप में इस रुझान पर किए गए एक नीतिगत अध्ययन में कहा गया कि इससे छोटी कंपनियों को प्रतिस्पर्धा में मदद मिल सकती है, लेकिन इससे बुनियादी प्रशिक्षण की तय लागत वसूलना भी कठिन हो जाता है। कीमतों की प्रतिस्पर्धा बढ़ सकती है, जबकि डेवलपर AI को उत्पादों और सेवाओं के साथ जोड़कर कमाई के टिकाऊ तरीके तलाशते हैं।

कुछ शोधकर्ता आगाह करते हैं कि सार्वजनिक किए गए प्रशिक्षण आंकड़े अक्सर एक परिष्कृत सिस्टम तैयार करने की असली लागत को कम करके दिखाते हैं। वे अंतिम सफल प्रशिक्षण की लागत और डेटा पर काम, असफल प्रयोगों, सुरक्षा मूल्यांकन तथा महीनों की इंजीनियरिंग का खर्च उठाने वाले पूरे बजट के बीच फर्क पर जोर देते हैं।

स्विट्जरलैंड स्थित INSAIT संस्थान के निदेशक मार्टिन वेचेव ने इस तकनीकी उपलब्धि की सराहना की, लेकिन चेताया कि एक प्रशिक्षण प्रक्रिया के आंकड़ों को कुल लागत नहीं मानना चाहिए।

वेचेव ने कहा: "5 से 6 मिलियन डॉलर का आंकड़ा भ्रामक है, क्योंकि इसमें केवल एक प्रशिक्षण प्रक्रिया की लागत शामिल है; ऐसा मॉडल विकसित करने के लिए कई बार प्रशिक्षण और प्रयोग करने पड़ते हैं, इसलिए असली लागत इससे कहीं अधिक होती है।"

यह नजरिया R1 से जुड़े सबूतों से मेल खाता है। प्रोजेक्ट में बड़ी बचत समझदारी भरे आर्किटेक्चर विकल्पों और सुदृढीकरण-शिक्षण के प्रभावी तरीके से हुई, न कि पूर्व-प्रशिक्षण के महंगे हिस्सों को छोड़ देने से। नतीजे में कुछ प्रतिद्वंद्वियों से कम कंप्यूट क्षमता में बेहतर प्रदर्शन हासिल करने का एक विश्वसनीय तरीका सामने आया, लेकिन ऐसा तरीका नहीं जिससे अत्याधुनिक मॉडल का प्रशिक्षण 300,000 डॉलर से कम में हो जाए।

मुख्य बातें

  • DeepSeek R1 के लिए 294,000 डॉलर का आंकड़ा 512 H800 GPU पर सुदृढीकरण-शिक्षण और संबंधित डेटा तैयार करने की लागत है, पूरे मॉडल के प्रशिक्षण की नहीं।
  • R1, V3 आधार मॉडल पर निर्भर है, जिसे 2,048 H800 GPU पर लगभग दो महीने तक, यानी करीब 2.79 मिलियन GPU घंटे प्रशिक्षित किया गया।
  • कंप्यूट क्षमता किराये पर लेने के अनुमान के अनुसार V3 के पूर्व-प्रशिक्षण की लागत करीब 5.58 मिलियन डॉलर और R1 तक पहुंचने की कुल लागत करीब 5.87 मिलियन डॉलर है।
  • तुलनीय हार्डवेयर खरीदना किराये से कहीं महंगा पड़ेगा। संचालन खर्च से पहले ही 2,000 GPU श्रेणी के क्लस्टर की कीमत 51 मिलियन डॉलर से अधिक होगी।
  • DeepSeek ने तैयारी के काम के लिए A100 GPU इस्तेमाल किए, फिर R1 के मुख्य सुदृढीकरण-शिक्षण प्रशिक्षण के लिए H800 का इस्तेमाल किया।
  • R1 का कंप्यूट स्तर शुरुआती सुर्खियों के संकेत से अधिक दूसरे बड़े ओपन मॉडल के करीब है, हालांकि कथित तौर पर नौ अंकों के बजट वाले बंद मॉडलों की तुलना में यह कम खर्चीला दिखता है।
  • सुदृढीकरण-शिक्षण ने अपेक्षाकृत कम लागत में तर्क क्षमता को बेहतर बनाया, जबकि बड़ा खर्च पूर्व-प्रशिक्षण और डेटा पर हुए काम में रहा।
  • विशेषज्ञ आगाह करते हैं कि प्रशिक्षण की बताई गई लागत में अक्सर अनुसंधान एवं विकास, डेटा तैयार करने और कई असफल प्रयासों का खर्च शामिल नहीं होता, जो किसी प्रोजेक्ट की वास्तविक लागत बढ़ाते हैं।
यह लेख शेयर करें

आपको यह भी पसंद आ सकता है