Baidu ने पेश किया ओपन-सोर्स मल्टीमॉडल AI, कंपनी का दावा: विज़न बेंचमार्क में GPT-5 और Gemini से बेहतर

मल्टीमॉडल AI में नया ओपन-सोर्स दावेदार

Baidu ने नया मल्टीमॉडल मॉडल ERNIE 4.5 VL 28B A3B Thinking ओपन सोर्स किया है। 28 अरब पैरामीटर वाला यह सिस्टम छवियों, वीडियो, दस्तावेज़ों और टेक्स्ट को प्रोसेस करता है। कंपनी का कहना है कि कम संसाधनों का इस्तेमाल करते हुए यह विज़न पर केंद्रित बेंचमार्क में अग्रणी क्लोज्ड मॉडल से बेहतर प्रदर्शन करता है। इसे Apache 2.0 लाइसेंस के तहत बिना किसी पाबंदी के व्यावसायिक उपयोग के लिए जारी किया गया है। अगर स्वतंत्र परीक्षणों में यह दावा सही साबित होता है, तो Baidu सुलभ हार्डवेयर पर चलने वाले एंटरप्राइज़-स्तरीय विज़ुअल रीजनिंग मॉडल के अहम आपूर्तिकर्ता के रूप में उभर सकता है।

ERNIE 4.5 VL 28B A3B Thinking हर टोकन के लिए करीब 3 अरब पैरामीटर सक्रिय करता है, जो कुल पैरामीटर का एक छोटा हिस्सा है। इसके लिए यह Mixture of Experts डिज़ाइन का इस्तेमाल करता है, जिसमें हर इनपुट को सबसे प्रासंगिक विशेषज्ञ नेटवर्क तक भेजा जाता है। इस चुनिंदा सक्रियता से कंप्यूट और मेमोरी की जरूरत घटती है, जबकि मॉडल की क्षमता कहीं बड़े मॉडल के बराबर बनी रहती है। Baidu का कहना है कि यह मॉडल एक 80 GB GPU पर इन्फरेंस चला सकता है और दस्तावेज़ समझने, चार्ट की व्याख्या करने तथा जटिल विज़ुअल रीजनिंग में मजबूत नतीजे दे सकता है।

इसकी प्रमुख खासियत वह क्षमता है जिसे Baidu ने Thinking with Images नाम दिया है। तर्क करते समय मॉडल किसी छवि को ज़ूम इन और आउट कर सकता है, सुराग खोजने के लिए उसके छोटे हिस्सों का निरीक्षण कर सकता है और स्थानीय निष्कर्षों को पूरे दृश्य के साथ जोड़ सकता है। यह व्यवहार लोगों के विज़ुअल समस्याएं सुलझाने के तरीके से मेल खाता है और घने तकनीकी आरेख पढ़ने, उत्पादन लाइन में दोष पहचानने या “दूसरे बोल्ट के नीचे नीले कनेक्टर” जैसे संदर्भों को ढूंढने के काम में मददगार है।

Baidu बेहतर विज़ुअल ग्राउंडिंग, छवि से जुड़े कामों में निर्देशों का अधिक सटीक पालन, इमेज सर्च सहित टूल का इस्तेमाल और समय के क्रम को समझने वाली मजबूत वीडियो समझ क्षमता को भी इसकी खासियत बताता है। मॉडल के साथ Transformers, vLLM और FastDeploy के लिए इंटीग्रेशन किट और ERNIEKit नाम का ट्रेनिंग तथा फाइन-ट्यूनिंग टूलकिट मिलता है। ऐसे बाजार में, जहां ज्यादातर शीर्ष विज़न-लैंग्वेज सिस्टम क्लोज्ड हैं, यह रिलीज डेवलपर्स और कंपनियों को कारोबारी इस्तेमाल के अनुकूल लाइसेंस वाला एक नया ओपन विकल्प देती है।

मॉडल क्या कर पाने का दावा करता है

Baidu ने मॉडल की क्षमताओं को छह क्षेत्रों में बांटा है: विज़ुअल रीजनिंग, STEM समस्याओं का समाधान, विज़ुअल ग्राउंडिंग, टूल इंटीग्रेशन, वीडियो समझ और गतिशील छवि विश्लेषण। व्यावहारिक तौर पर इसका अर्थ है कि सिस्टम इनवॉइस या वित्तीय विवरण पढ़कर उनका सार बता सकता है, चार्ट और तालिकाओं का विश्लेषण कर सकता है, सर्किट आरेखों और ज्यामिति की समस्याओं पर तर्क कर सकता है, पूछे जाने पर छवि में सटीक वस्तुओं या हिस्सों की ओर संकेत कर सकता है, संदर्भ तस्वीरें पाने के लिए बाहरी टूल चला सकता है और वीडियो के अलग-अलग हिस्सों में घटनाओं पर नज़र रख सकता है।

Baidu के दस्तावेज़ों में दिए गए लीडरबोर्ड पर मॉडल को विज़न-केंद्रित परीक्षणों के एक समूह में OpenAI GPT-5 High और Google Gemini 2.5 Pro के संस्करणों के बराबर या उनसे बेहतर दिखाया गया है। इनमें चार्ट से जुड़े सवालों के जवाब, दस्तावेज़ समझने और कई चरणों वाली विज़ुअल रीजनिंग के बेंचमार्क शामिल हैं। कंपनी गति में बढ़त का भी दावा करती है: उसके अनुसार समान सटीकता वाले तुलनीय मॉडलों की तुलना में इन्फरेंस दो से तीन गुना तेज़ है।

स्वतंत्र प्रयोगशालाओं ने अभी इन चार्टों की पुष्टि नहीं की है। बेंचमार्क अक्सर वास्तविक परिस्थितियों में विश्वसनीयता के बजाय पैटर्न याद रखने, प्रॉम्प्ट के प्रारूप या सीमित तरकीबों को पुरस्कृत करते हैं। ERNIE 4.5 VL 28B A3B Thinking का मूल्यांकन करने वाली कंपनियों को उत्पादन में इस्तेमाल का फैसला लेने से पहले अपने दस्तावेज़ों, रोशनी की स्थितियों, कैमरा कोणों और सुरक्षा नीतियों के साथ लक्षित पायलट चलाने चाहिए।

इस सावधानी के बावजूद, मॉडल के दायरे में कई तरह के काम आते हैं। रीजनिंग, ग्राउंडिंग और टूल के इस्तेमाल का मेल इसे एजेंट-शैली के वर्कफ़्लो के लिए उपयोगी विकल्प बनाता है, जैसे बीमा दावों की कतार में आने वाले दावों को पढ़ना, वेयरहाउस संचालन में असामान्यताओं को चिह्नित करना या एनोटेट की गई तस्वीरों और छोटे वीडियो की मदद से तकनीशियनों को उपकरणों की खराबी ढूंढने में सहायता देना।

28B का मॉडल एक 80 GB GPU पर कैसे चलता है

इसका मुख्य आधार Mixture of Experts है। इस डिज़ाइन में कई विशेषज्ञ सबनेटवर्क एक राउटर के पीछे होते हैं। हर टोकन या इमेज पैच के लिए राउटर सक्रिय करने हेतु विशेषज्ञों का एक छोटा समूह चुनता है। केवल चुने गए विशेषज्ञ कंप्यूट करते हैं, इसलिए हर चरण में सिस्टम छोटे मॉडल की तरह काम करता है, जबकि कई चरणों और कामों में विशेषज्ञों का पूरा समूह अधिक क्षमता देता है। इससे थ्रूपुट बेहतर होता है, क्योंकि किसी एक ऑपरेशन के दौरान ज्यादातर पैरामीटर निष्क्रिय रहते हैं।

चुनिंदा सक्रियता से मेमोरी की जरूरत और कंप्यूट की लागत घटती है। 28 अरब पैरामीटर वाले डेंस मॉडल को उपयोगी गति से चलाने के लिए कहीं अधिक हार्डवेयर चाहिए होगा। हर टोकन पर करीब 3 अरब पैरामीटर सक्रिय करके Baidu विज़न-लैंग्वेज मॉडल को एक GPU पर चलाने का दावा कर सकता है, जिससे कई प्रयोगशालाओं के लिए इसका परीक्षण करना संभव होता है। हालांकि, इससे जटिलता भी बढ़ती है। इंजीनियरों को तेज़ और संतुलित राउटर, सावधानीपूर्वक लोड बैलेंसिंग और स्थिर ट्रेनिंग तकनीकों की जरूरत होती है, ताकि सारा काम कुछ ही विशेषज्ञों पर न आ जाए।

छवियों के साथ तर्क और सटीक ग्राउंडिंग

पारंपरिक विज़न-लैंग्वेज मॉडल एक निश्चित रिज़ॉल्यूशन वाली छवि लेकर टेक्स्ट में जवाब देते हैं। Thinking with Images में योजना बनाने का एक चक्र जुड़ता है। मॉडल सवाल को चरणों में बांटता है, तय करता है कि आगे कहां देखना है, ऊंचे रिज़ॉल्यूशन में किसी हिस्से को क्रॉप करता है, उस हिस्से के भीतर टेक्स्ट पढ़ता है या ज्यामिति मापता है और फिर अपनी योजना को अपडेट करता है। पर्याप्त साक्ष्य जुटने तक यह प्रक्रिया दोहराई जाती है। जब काम में किसी जगह की ओर संकेत करना हो, तो यह क्षमता उल्टी दिशा में भी काम करती है: शब्दों को पिक्सेल की जगहों से जोड़कर बॉक्स या मास्क बनाया जाता है।

जब छवियां भरी हुई हों या तकनीकी हों, तब बेहतर ग्राउंडिंग अहम होती है। निर्माण क्षेत्र में दो हिस्से ज़ूम करने तक लगभग एक जैसे दिख सकते हैं। इंजीनियरिंग ड्रॉइंग में संकेत के कुछ पिक्सेल बदलने से किसी प्रतीक का अर्थ बदल सकता है। मेडिकल इमेजिंग में छोटे-से आर्टिफैक्ट से निदान प्रभावित हो सकता है। ऐसा सिस्टम जो दृश्य के समग्र संदर्भ और बारीकियों के बीच आ-जा सके और उठाए गए कदमों की व्याख्या करे, ऑपरेटरों को निर्णयों की स्पष्ट ऑडिट ट्रेल और गलतियां सुधारने का रास्ता देता है।

बेंचमार्क बनाम वास्तविक काम

वेंडर के चार्ट में अक्सर कई मूल्यांकनों के स्कोर एक साथ जोड़े जाते हैं। कुछ बेंचमार्क में साफ छवियां और सही ढंग से क्रॉप किए गए हिस्से होते हैं। कुछ में ऐसे सवाल होते हैं जिनकी जानकारी ट्रेनिंग डेटा में पहले से मौजूद होती है। वास्तविक इस्तेमाल में चकाचौंध, मोशन ब्लर, असामान्य फ़ॉन्ट, ढकी हुई वस्तुएं और कई भाषाओं के लेबल सामने आते हैं। जब इनपुट ट्रेनिंग डेटा के दायरे से बाहर हों, तो प्रदर्शन में बड़ा बदलाव आ सकता है। इसीलिए चुनिंदा परीक्षणों में GPT-5 या Gemini से बेहतर प्रदर्शन का दावा अंतिम निष्कर्ष नहीं, बल्कि शुरुआत माना जाना चाहिए।

अधिक भरोसेमंद तरीका है किसी खास काम के हिसाब से मूल्यांकन करना। दस्तावेज़ों के लिए टीमें कुछ सौ प्रतिनिधि फ़ाइलें जुटाकर, इंसानों से जांची गई उत्तर-कुंजी के साथ, हर फ़ील्ड निकालने की सटीकता माप सकती हैं। विज़न के कामों में वे उत्पादन की स्थितियों का अनुकरण कर बॉक्स या मास्क के लिए प्रिसिजन और रिकॉल दर्ज कर सकती हैं। चार्ट के लिए वे लॉग स्केल या स्टैक्ड सीरीज़ जैसे कठिन मामलों वाले कृत्रिम प्लॉट बना सकती हैं। इससे मॉडल के व्यवहार और उसकी विफलता के तरीकों की अधिक स्पष्ट तस्वीर मिलती है।

ट्रेनिंग प्रक्रिया और डेवलपर टूल्स

ERNIE 4.5 मॉडल की ट्रेनिंग में पारंपरिक सुपरवाइज़्ड लर्निंग को मल्टीमॉडल कामों पर रीइन्फोर्समेंट लर्निंग के साथ मिलाया गया है। दस्तावेज़ों में MoE की ट्रेनिंग के दौरान राउटर को स्थिर रखने और रिवॉर्ड शेपिंग बेहतर करने के लिए GSPO और IcePop नाम की रणनीतियों का ज़िक्र है। इसके साथ डायनामिक डिफिकल्टी सैंपलिंग का इस्तेमाल होता है, ताकि मॉडल के बेहतर होने के साथ उसे अधिक कठिन उदाहरण मिलें। नतीजा ऐसा सिस्टम है जो तस्वीरों, चार्ट और वीडियो पर कई चरणों में तर्क की योजना बना सकता है, बजाय एक ही बार में अंदाज़ा लगाने के।

इस मॉडल परिवार में सिर्फ टेक्स्ट वाले और विज़न-लैंग्वेज संस्करण शामिल हैं, जो बहुत छोटे डेंस मॉडल से लेकर कुल सैकड़ों अरब पैरामीटर वाले विशाल MoE सिस्टम तक फैले हैं। Baidu का कहना है कि आर्किटेक्चर अलग-अलग मोडैलिटी के बीच पैरामीटर साझा करने देता है, जिससे टेक्स्ट और विज़न घटक एक-दूसरे से लाभ उठा सकते हैं और भाषा की गुणवत्ता कम नहीं होती। कंपनी के प्लेटफ़ॉर्म PaddlePaddle पर ट्रेनिंग और इन्फरेंस चलाए जाते हैं। टीम के अनुसार, बड़े पैमाने पर हार्डवेयर का उपयोग काफी ऊंचे स्तर पर होता है।

डेवलपर्स के लिए Baidu कई टूल देता है। ERNIEKit संसाधन-कुशल डिप्लॉयमेंट के लिए फाइन-ट्यूनिंग, प्रेफरेंस ऑप्टिमाइज़ेशन और क्वांटाइज़ेशन को सपोर्ट करता है। विज़न-लैंग्वेज मॉडल को Transformers और vLLM जैसे आम स्टैक से सर्व किया जा सकता है, जबकि उत्पादन में इन्फरेंस के लिए FastDeploy का इस्तेमाल किया जा सकता है। Apache 2.0 लाइसेंस व्यावसायिक उपयोग की कई पाबंदियां हटाता है। आधिकारिक मॉडल पेज Hugging Face पर उपलब्ध है और कोड तथा रेसिपी Baidu GitHub रिपॉज़िटरी में हैं।

एंटरप्राइज़ के लिए इसका क्या मतलब है

ओपन लाइसेंस और एक GPU पर इन्फरेंस की क्षमता इस मॉडल को उन टीमों के लिए आकर्षक बनाती है जो डेटा को क्लाउड सेवा प्रदाता के पास भेजे बिना निजी, ऑन-प्रिमाइसेस विज़ुअल AI इस्तेमाल करना चाहती हैं। दस्तावेज़ों पर निर्भर क्षेत्र अनुबंधों, इनवॉइस और दावों की बुद्धिमान छंटाई आज़मा सकते हैं। निर्माता लाइन पर काम करने वालों के लिए विज़न और भाषा-आधारित मार्गदर्शन को मिलाकर गुणवत्ता जांच स्टेशन बना सकते हैं। रिटेल और लॉजिस्टिक्स टीमें वेयरहाउस में सामान ढूंढने और लेबल की पुष्टि करने के लिए ग्राउंडिंग का इस्तेमाल कर सकती हैं। ग्राहक सेवा टीमें चैट के जवाबों में एम्बेडेड चार्ट या स्क्रीनशॉट पढ़कर अतिरिक्त जानकारी जोड़ सकती हैं।

लागत मायने रखती है। कई संगठन एक ही एप्लिकेशन के लिए H100 श्रेणी के GPU वाले क्लस्टर अलग नहीं रख सकते। एक 80 GB कार्ड पर चलने वाला सिस्टम पायलट और शुरुआती डिप्लॉयमेंट की बाधा कम करता है। ग्राउंडिंग, टूल के इस्तेमाल और वीडियो समझ का मेल एजेंट-शैली के वर्कफ़्लो के लिए भी उपयुक्त है, जहां मॉडल किसी काम को पूरा करने के लिए कई चरणों में पढ़ता, खोजता, क्लिक करता और तर्क करता है। यह कस्टम API के बजाय मानक इंटरफेस पर काम करने वाले कंप्यूटर-उपयोग एजेंट की ओर बढ़ते रुझान के अनुरूप है।

व्यापक प्रतिस्पर्धा: ओपन मॉडल बनाम क्लोज्ड सेवाएं

यह रिलीज ओपन मॉडल के लिए व्यस्त वर्ष में आई है। DeepSeek ने सैकड़ों अरब कुल पैरामीटर और हर टोकन पर केवल कुछ दर्जन अरब सक्रिय पैरामीटर वाला बहुत बड़ा MoE लैंग्वेज मॉडल पेश किया। कंपनी ने बताया कि ट्रेनिंग की लागत क्लोज्ड सिस्टम की तुलना में बहुत कम होने के बावजूद सामान्य बेंचमार्क में इसके स्कोर मजबूत रहे। Alibaba Marco o1 ने चेन-ऑफ-थॉट फाइन-ट्यूनिंग और सर्च-गाइडेड प्लानिंग जैसी तकनीकों से रीजनिंग पर जोर दिया, ताकि स्पष्ट संख्यात्मक रिवॉर्ड न होने वाले खुले सवालों को संभाला जा सके।

Baidu, Alibaba और अन्य चीनी प्रयोगशालाएं उदार लाइसेंस के तहत अधिक सक्षम मॉडल जारी कर रही हैं। ओपन एक्सेस क्षेत्रीय डेवलपर्स को मालिकाना सेवाओं पर कम निर्भर रहकर काम बनाने का रास्ता देता है। इससे वैश्विक प्रदाताओं पर भी यह स्पष्ट करने का दबाव पड़ता है कि विश्वसनीयता, टूलिंग या इंटीग्रेशन में साफ बढ़त देकर वे प्रीमियम कीमत क्यों वसूल रहे हैं। कई क्षेत्रों में ओपन और क्लोज्ड मॉडल के प्रदर्शन का अंतर कम हुआ है, खासकर चार्ट विश्लेषण और दस्तावेज़ों से जानकारी निकालने जैसे विशेष कामों में।

सीमाएं और अनुत्तरित सवाल

इसमें कुछ समझौते भी हैं। बेहतरीन नतीजों के लिए विज़न-लैंग्वेज मॉडल को अब भी 80 GB GPU चाहिए, जिससे कई उपभोक्ता डिवाइस पर इसे चलाना संभव नहीं है। संदर्भ विंडो 128K टोकन की बताई गई है। लंबे PDF के लिए यह उपयोगी है, लेकिन कई छवियों, OCR टेक्स्ट और निर्देशों को साथ रखने पर इसकी सीमा बनी रहती है। बड़े पैमाने पर डिप्लॉयमेंट में MoE रूटिंग जटिलता बढ़ा सकती है, क्योंकि इंजीनियरों को विशेषज्ञों के बीच संतुलन पर नज़र रखनी होती है और रूटिंग हॉटस्पॉट से होने वाली लेटेंसी में उछाल रोकना होता है।

सुरक्षा एक अहम मुद्दा बनी हुई है। छवि प्रणालियों को प्रतिकूल पैटर्न या भ्रामक सहसंबंधों से धोखा दिया जा सकता है। जो मॉडल सक्रिय रूप से क्रॉप और ज़ूम करता है, उसे पुष्टि-पक्षपात से बचना होगा, जिसमें योजना बार-बार गलत हिस्से पर ही ध्यान देती रहती है। उद्यम चाहेंगे कि मॉडल के थिंकिंग मोड में हर चरण की स्पष्ट ऑडिट लॉग मिले या कम से कम टूल कॉल और बाउंडिंग बॉक्स के व्यवस्थित रिकॉर्ड उपलब्ध हों। Baidu का कहना है कि मॉडल को मल्टीमॉडल रीइन्फोर्समेंट लर्निंग और ग्राउंडिंग अलाइनमेंट से गुज़ारा गया है, लेकिन भरोसा कायम करने के लिए व्यापक तृतीय-पक्ष मूल्यांकन की जरूरत होगी।

मुख्य बातें

• Baidu ने ERNIE 4.5 VL 28B A3B Thinking जारी किया है। यह Apache 2.0 लाइसेंस वाला ओपन-सोर्स मल्टीमॉडल मॉडल है, जिसका व्यावसायिक इस्तेमाल किया जा सकता है।
• मॉडल का दावा है कि विज़न पर केंद्रित बेंचमार्क में इसने GPT-5 High और Gemini 2.5 Pro को पीछे छोड़ा है; स्वतंत्र पुष्टि अभी बाकी है।
• यह Mixture of Experts डिज़ाइन का इस्तेमाल करता है और कंप्यूट तथा मेमोरी घटाने के लिए हर टोकन पर 28 अरब में से करीब 3 अरब पैरामीटर सक्रिय करता है।
• इन्फरेंस एक 80 GB GPU पर चल सकता है, जिससे पायलट और ऑन-प्रिमाइसेस परीक्षण की बाधा कम होती है।
• प्रमुख क्षमताओं में ज़ूम और निरीक्षण वाले वर्कफ़्लो के लिए Thinking with Images, बेहतर विज़ुअल ग्राउंडिंग और वीडियो समझ शामिल हैं।
• छह मुख्य क्षमताएं विज़ुअल रीजनिंग, STEM कार्यों, ग्राउंडिंग, टूल के इस्तेमाल, वीडियो विश्लेषण और गतिशील छवि योजना पर केंद्रित हैं।
• ट्रेनिंग में MoE को स्थिर करने के लिए GSPO और IcePop के साथ मल्टीमॉडल रीइन्फोर्समेंट लर्निंग और डायनामिक डिफिकल्टी सैंपलिंग शामिल हैं।
• डेवलपर टूल्स में ERNIEKit, Transformers, vLLM और FastDeploy के साथ संगतता, सार्वजनिक मॉडल पेज और कोड रिपॉज़िटरी शामिल हैं।
• इसके इस्तेमाल के संभावित क्षेत्रों में दस्तावेज़ प्रोसेसिंग, विनिर्माण में गुणवत्ता नियंत्रण, वेयरहाउस संचालन और ग्राहक सहायता शामिल हैं।
• सीमाओं में 80 GB GPU की जरूरत, 128K की संदर्भ विंडो, MoE रूटिंग की जटिलता और विश्वसनीयता तथा सुरक्षा से जुड़े अनुत्तरित सवाल शामिल हैं।