Alibaba ने ओपन-सोर्स मल्टीमॉडल AI मॉडल Qwen3 Omni लॉन्च किया

यह लॉन्च अभी क्यों मायने रखता है

Alibaba ने Qwen3 Omni जारी किया है। यह एक मल्टीमॉडल कृत्रिम बुद्धिमत्ता मॉडल है, जो एक ही सिस्टम में टेक्स्ट, इमेज, ऑडियो और वीडियो प्रोसेस करता है। इसका लॉन्च ऐसे समय हुआ है जब AI में वैश्विक प्रतिस्पर्धा तेज हो रही है। मॉडल को Apache 2.0 लाइसेंस के तहत डाउनलोड और इस्तेमाल किया जा सकता है। यह कंपनियों को तकनीक चलाने, उसमें बदलाव करने और उसे व्यावसायिक उत्पादों में शामिल करके जारी करने के व्यापक अधिकार देता है। कई तरह के डेटा को संभालने की क्षमता और उदार लाइसेंसिंग का यह मेल अमेरिका की अग्रणी कंपनियों के बंद सिस्टम पर सीधा दबाव डालता है।

इसका समय खास है। पश्चिमी कंपनियां मालिकाना AI और उसके पीछे के बुनियादी ढांचे पर लगातार भारी निवेश कर रही हैं, जबकि चीनी शोध समूह डेवलपरों को खुले तौर पर उपलब्ध मॉडल अपनाने के लिए आकर्षित कर रहे हैं। Qwen3 Omni ने Hugging Face के कम्युनिटी चार्ट में तेजी से ऊंची जगह बनाई है, जो दिखाता है कि डेवलपर समुदाय बड़े पैमाने पर इसे अपना रहा है। Alibaba का यह रिलीज संकेत देता है कि चीन का सबसे बड़ा क्लाउड प्रदाता वैश्विक AI वर्कलोड के लिए प्रतिस्पर्धा करना चाहता है, सिर्फ शोध जगत का ध्यान खींचने के लिए नहीं।

मॉडल का वादा सरल है: एक ऐसा फाउंडेशन मॉडल, जो भाषा, तस्वीरें, ऑडियो और वीडियो इनपुट के तौर पर ले सके और फिर स्ट्रीमिंग गति से टेक्स्ट या स्वाभाविक आवाज में जवाब दे। अगर Alibaba के बताए प्रदर्शन की पुष्टि आम इस्तेमाल में होती है, तो उद्यम बंद प्लेटफॉर्म को उपयोग शुल्क दिए बिना और हर डेटा प्रकार के लिए अलग-अलग मॉडल जोड़े बिना असिस्टेंट, ट्रांसक्रिप्शन सेवाएं और एनालिटिक्स टूल तैनात कर सकेंगे।

Qwen3 Omni क्या है और यह क्या करता है

Qwen3 Omni एक फाउंडेशन मॉडल है, जिसे मूल रूप से मल्टीमॉडल संवाद के लिए बनाया गया है। यह चार तरह के इनपुट स्वीकार करता है: टेक्स्ट, इमेज, ऑडियो और वीडियो। इसके आउटपुट दो तरह के हैं: टेक्स्ट और आवाज। जवाब लगभग रियल टाइम में स्ट्रीम हो सकते हैं। इसलिए उपयोगकर्ता सिस्टम से बात कर सकता है या किसी दृश्य पर कैमरा रखकर जवाब सुनना शुरू कर सकता है, जबकि सिस्टम वीडियो फ्रेम प्रोसेस कर रहा हो।

Alibaba तीन संस्करण जारी कर रहा है, ताकि टीमें अपने उपयोग के हिसाब से क्षमताएं चुन सकें। हर संस्करण 30 अरब पैरामीटर वाले आधार मॉडल पर बना है, जो अधिक दक्षता के लिए अनुमान प्रक्रिया के दौरान चुनिंदा विशेषज्ञों को सक्रिय करता है। इनके संस्करण इस प्रकार हैं:

• Instruct, पूरा इंटरैक्टिव मॉडल, जो ऑडियो, वीडियो और टेक्स्ट इनपुट संभालता है और टेक्स्ट तथा आवाज दोनों में जवाब देता है।
• Thinking, लंबी विचार-श्रृंखला वाले जवाबों के लिए तर्क-केंद्रित मॉडल। यह वही इनपुट स्वीकार करता है, लेकिन सिर्फ टेक्स्ट आउटपुट देता है।
• Captioner, ऑडियो के विस्तृत वर्णन के लिए फाइन-ट्यून किया गया संस्करण, जिसका लक्ष्य ध्वनि के स्रोतों और घटनाओं का वर्णन करते समय हैलुसिनेशन कम करना है।

डेवलपर मॉडल के वेट GitHub और Hugging Face से डाउनलोड कर सकते हैं। वे Alibaba के API से मैनेज्ड एंडपॉइंट भी इस्तेमाल कर सकते हैं, जिसमें कम विलंबता वाले उपयोगों के लिए तेज Flash संस्करण भी उपलब्ध है।

Thinker और Talker डिजाइन के भीतर

यह सिस्टम दो घटकों वाले आर्किटेक्चर पर आधारित है, जिसे Alibaba Thinker और Talker कहता है। Thinker अलग-अलग माध्यमों से मिले संकेतों पर तर्क करने का काम करता है। यह टेक्स्ट, विजुअल एनकोडर और ऑडियो एनकोडर से मिले संकेतों को जोड़ता है, फिर योजना बनाकर इच्छित जवाब या कार्रवाई को दर्शाने वाले टेक्स्ट टोकन तैयार करता है। Talker उस योजना को स्वाभाविक आवाज में बदलता है और समय तथा स्वर-लय को दृश्य और ऑडियो संदर्भ के अनुरूप रखता है।

दोनों घटक Mixture of Experts तरीके का इस्तेमाल करते हैं। हर चरण में पैरामीटर का केवल एक हिस्सा सक्रिय होता है। इससे काम का बोझ अलग-अलग विशेषज्ञों में बंटता है और एक साथ कई अनुरोध आने पर थ्रूपुट बेहतर होता है। यह डिजाइन एक ही समय में कई उपयोगकर्ताओं को सेवा देते हुए मॉडल की विलंबता कम रखने में मदद करता है।

Talker, Thinker के आंतरिक टेक्स्ट निरूपण पर निर्भर नहीं करता। यह सीधे ऑडियो और विजुअल फीचर के आधार पर जवाब तैयार कर सकता है। इससे अनुवाद या लाइव सहायता के दौरान आवाज अधिक स्वाभाविक होती है, क्योंकि सिस्टम दृश्य से मेल खाने वाली स्वर-लय और आवाज का रंग बनाए रख सकता है। यह विभाजन संचालन के लिहाज से भी फायदेमंद है। बाहरी मॉड्यूल, जैसे जानकारी खोजने वाले सिस्टम या सुरक्षा फिल्टर, Talker के आवाज में बदलने से पहले Thinker के प्रस्तावित टेक्स्ट की जांच और उसमें बदलाव कर सकते हैं।

आवाज को तेज और स्पष्ट रखने के लिए Talker ऑटोरिग्रेसिव तरीके से मल्टी-कोडबुक अनुक्रम का अनुमान लगाता है और चलते-चलते ऑडियो फ्रेम तैयार करने के लिए हल्के Code2Wav नेटवर्क का उपयोग करता है। इससे आवाज की गुणवत्ता का विवरण बनाए रखते हुए देरी कम होती है।

गति, पैमाना और भाषाएं

आवाज और वीडियो संवाद में विलंबता अहम होती है। Qwen3 Omni के मुताबिक ऑडियो के लिए पहला पैकेट आने में करीब 234 मिलीसेकंड और वीडियो के लिए लगभग 547 मिलीसेकंड लगते हैं। कई अनुरोधों को एक साथ संभालने पर भी शुरू से अंत तक प्रतिक्रिया रियल टाइम फैक्टर के भीतर रहती है, जिससे बातचीत सहज बनी रहती है।

मॉडल में भाषाओं का व्यापक समर्थन है। यह टेक्स्ट में 119 भाषाएं संभालता है। यह 19 भाषाओं में बोली गई बात समझता है और 10 भाषाओं में बोल सकता है। इनमें कैंटोनीज़ जैसी प्रमुख वैश्विक भाषाएं और बोलियां शामिल हैं। इससे उत्पाद टीमें अलग-अलग क्षेत्रों के लिए मॉडल बदले बिना दुनिया भर के उपयोगकर्ताओं के लिए असिस्टेंट बना सकती हैं।

संदर्भ विंडो लंबी बातचीत के लिए तैयार की गई हैं। Thinking Mode में 65,536 टोकन और Non Thinking Mode में 49,152 टोकन उपलब्ध हैं। इनपुट और आउटपुट की अधिकतम सीमा प्रत्येक के लिए 16,384 टोकन है, जबकि तर्क-श्रृंखला की अधिकतम समर्थित लंबाई 32,768 टोकन तक है। मॉडल लगभग 30 मिनट तक की लंबी ऑडियो क्लिप का विश्लेषण और सारांश कर सकता है।

Alibaba ने मॉडल को कैसे प्रशिक्षित किया

ऑडियो समझने की क्षमता AuT नाम के एक कस्टम Audio Transformer पर आधारित है। Alibaba ने AuT को शुरू से करीब 2 करोड़ घंटे के लेबल किए गए ऑडियो पर प्रशिक्षित किया। इस डेटा का अधिकांश हिस्सा चीनी और अंग्रेजी में स्वचालित वाक् पहचान पर केंद्रित है। बाकी में अन्य भाषाओं और ऑडियो की व्यापक समझ से जुड़े कार्यों का छोटा हिस्सा शामिल है। AuT में करीब 60 करोड़ पैरामीटर हैं और इसे स्ट्रीमिंग कैश तथा ऑफलाइन जॉब, दोनों के लिए अनुकूल बनाया गया है।

प्रीट्रेनिंग तीन चरणों में हुई। एनकोडर अलाइनमेंट चरण में टीम ने भाषा के आधार मॉडल को स्थिर रखते हुए विजन और ऑडियो एनकोडर प्रशिक्षित किए, जिससे समझने की गुणवत्ता बनाए रखने में मदद मिली। इसके बाद टेक्स्ट, ऑडियो और इमेज वाले करीब 2 लाख करोड़ टोकन के डेटासेट पर सामान्य प्रशिक्षण हुआ। इसमें वीडियो और ऑडियो-वीडियो डेटा का हिस्सा अपेक्षाकृत छोटा था। अंतिम, लंबा संदर्भ चरण अनुक्रम की लंबाई 8,192 से बढ़ाकर 32,768 टोकन तक ले गया और इसमें लंबे ऑडियो तथा वीडियो शामिल किए गए, ताकि मॉडल लंबे अनुक्रमों को समझ सके।

पोस्ट-ट्रेनिंग में निर्देशों का पालन और सुरक्षा के अनुरूप व्यवहार शामिल किया गया। Thinker के लिए टीम ने सुपरवाइज्ड फाइन-ट्यूनिंग, मजबूत से कमजोर मॉडल तक डिस्टिलेशन और नियमों तथा LLM-जज फीडबैक के संयोजन से GSPO ऑप्टिमाइजेशन लागू किया। Talker को चार चरणों में प्रशिक्षित किया गया, जिनमें करोड़ों मल्टीमॉडल वाक् नमूनों को चुने हुए डेटा पर लगातार प्रीट्रेनिंग के साथ जोड़ा गया। लक्ष्य आवाज की स्पष्टता और अभिव्यक्ति बेहतर करते हुए हैलुसिनेशन कम करना था।

बेंचमार्क, खूबियां और सीमाएं

टेक्स्ट, वाक्, विजन और वीडियो को कवर करने वाले 36 सार्वजनिक बेंचमार्क में Alibaba का कहना है कि Qwen3 Omni 22 में पहले स्थान पर है और ओपन मॉडल में 32 पर आगे है। नतीजे ऑडियो-केंद्रित कार्यों में मजबूत प्रदर्शन और टेक्स्ट तथा विजन में प्रतिस्पर्धी नतीजों की ओर इशारा करते हैं।

तर्क और लेखन: AIME25 पर मॉडल का स्कोर 65.0 है, जो 2024 के GPT 4o के 26.7 स्कोर से काफी अधिक है। ZebraLogic पर इसका स्कोर 76.0 है, जो Gemini 2.5 Flash के 57.9 से आगे है। WritingBench पर मॉडल ने 82.6 अंक हासिल किए, जो GPT 4o के 75.5 से अधिक है।

वाक् और ऑडियो: Wenetspeech सूट पर बताई गई शब्द त्रुटि दरें 4.69 और 5.89 हैं, जो GPT 4o की 15.30 और 32.27 दरों से काफी कम हैं। LibriSpeech other पर त्रुटि दर घटकर 2.48 रह जाती है। संगीत वर्गीकरण में भी मॉडल मजबूत है: GTZAN पर 93.0 और RUL MuchoMusic पर 52.0 अंक, दोनों GPT 4o से अधिक हैं।

विजन और वीडियो: HallusionBench पर स्कोर 59.7, MMMU pro पर 57.0 और MathVision full पर 56.3 है। इन्हीं नतीजों में तीनों GPT 4o से बेहतर हैं। MLVU वीडियो समझ परीक्षण में Qwen3 Omni का स्कोर 75.2 है, जो Gemini 2.0 Flash के 71.0 और GPT 4o के 64.6 से आगे है।

ये मजबूत आंकड़े हैं, लेकिन टीमों को इन्हें संदर्भ में देखना चाहिए। Alibaba ने वाक् और मल्टीमॉडल संवाद में बेहतर प्रदर्शन करते हुए टेक्स्ट और विजन की गुणवत्ता बनाए रखने के लिए सिस्टम को अनुकूलित किया है। शुरुआती विश्लेषकों का कहना है कि इसी परिवार का सिर्फ टेक्स्ट वाला मॉडल कुछ विशुद्ध भाषा कार्यों में अब भी आगे रह सकता है। एकल माध्यम पर प्रशिक्षण से व्यापक मल्टीमॉडल सिस्टम की ओर जाने पर ऐसा समझौता सामान्य है। असली कसौटी रोजमर्रा के उत्पादन कार्यों में प्रदर्शन होगा।

ओपन लाइसेंस, उपलब्धता और कीमत

Qwen3 Omni Apache 2.0 लाइसेंस के तहत जारी किया गया है। यह लाइसेंस व्यावसायिक इस्तेमाल, बदलाव और पुनर्वितरण की अनुमति देता है और इसमें पेटेंट अनुदान भी शामिल है। उद्यम मॉडल को उत्पादों में शामिल कर सकते हैं, इसे अपने हार्डवेयर या भरोसेमंद क्लाउड पर तैनात कर सकते हैं और मालिकाना बदलाव उजागर किए बिना बंद उत्पाद जारी कर सकते हैं। यह लाइसेंस उन आम कानूनी बाधाओं को दूर करता है, जो कंपनियों को विनियमित क्षेत्रों में उन्नत मॉडल इस्तेमाल करने से रोकती हैं।

मॉडल परिवार GitHub और Hugging Face से डाउनलोड के लिए उपलब्ध है। मैनेज्ड सेवा पसंद करने वाली टीमें Alibaba का API इस्तेमाल कर सकती हैं, जिसमें तेज जवाबों के लिए Flash विकल्प भी है। Alibaba सक्रियण के बाद 90 दिनों तक विभिन्न माध्यमों में कुल 10 लाख टोकन का मुफ्त कोटा देता है, ताकि टीमें भुगतान शुरू करने से पहले क्षमताओं का मूल्यांकन कर सकें।

टोकन की कीमत कैसे तय होती है

बिलिंग हर एक हजार टोकन के हिसाब से होती है। टोकन टेक्स्ट की छोटी इकाई या दूसरे मीडिया का खंडों में बंटा निरूपण होता है। विभिन्न माध्यमों में कंप्यूटिंग लागत मापने के लिए यह एक साझा पैमाना है। Alibaba Thinking और Non Thinking मोड के लिए प्रति टोकन समान कीमत बताता है। एक अपवाद है: ऑडियो आउटपुट सिर्फ Non Thinking Mode में उपलब्ध है।

इनपुट की लागत: टेक्स्ट इनपुट की कीमत प्रति हजार टोकन 0.00025 डॉलर है, यानी प्रति 10 लाख टोकन करीब 25 सेंट। ऑडियो इनपुट की कीमत प्रति हजार टोकन 0.00221 डॉलर है, यानी प्रति 10 लाख टोकन करीब 2.21 डॉलर। इमेज और वीडियो इनपुट की कीमत प्रति हजार टोकन 0.00046 डॉलर है, यानी प्रति 10 लाख टोकन करीब 46 सेंट।

आउटपुट की लागत: अगर प्रॉम्प्ट में सिर्फ टेक्स्ट हो, तो टेक्स्ट आउटपुट की कीमत प्रति हजार टोकन 0.00096 डॉलर है। इनपुट में इमेज या ऑडियो शामिल होने पर टेक्स्ट आउटपुट की कीमत प्रति हजार टोकन 0.00178 डॉलर होती है। टेक्स्ट और ऑडियो, दोनों आउटपुट मांगने पर ऑडियो हिस्से की कीमत प्रति हजार टोकन 0.00876 डॉलर है। इस स्थिति में टेक्स्ट वाला हिस्सा मुफ्त है।

आज इस्तेमाल के लिए तैयार क्षेत्र

ऑडियो और वीडियो-केंद्रित ऐप्लिकेशन इससे लाभ उठा सकते हैं। ग्राहक सहायता और मीडिया के स्थानीयकरण के लिए बहुभाषी ट्रांसक्रिप्शन और अनुवाद एक ही मॉडल पर चल सकता है, जो सुनता है, संदर्भ समझता है और बोलकर जवाब देता है। Captioner संस्करण ऑडियो के वर्णन पर केंद्रित है, जो मीडिया टैगिंग, प्रसारण निगरानी और संगीत संबंधी जानकारी खोजने में उपयोगी है।

ऑप्टिकल कैरेक्टर रिकग्निशन, वस्तुओं की स्थिति पहचानना और इमेज या वीडियो के बारे में सवालों के जवाब देना जैसे विजुअल काम भी इसके लिए उपयुक्त हैं। सहायता एजेंट लैपटॉप का लाइव फोन-कैमरा वीडियो देखकर बता सकता है कि कौन-सी केबल जांचनी है और फिर सामान्य गति से कदमों का वर्णन कर सकता है। Alibaba ने पहनने योग्य डिवाइस के जरिए रेस्तरां के मेनू का रियल टाइम अनुवाद भी दिखाया है। ये उदाहरण बताते हैं कि स्ट्रीमिंग में कम विलंबता और आवाज की गुणवत्ता क्यों अहम हैं।

Qwen3 Omni ऑडियो-विजुअल संवाद को भी सपोर्ट करता है। यह ऐसा संवाद कर सकता है जिसमें सुनी और देखी, दोनों बातों का संदर्भ हो, लंबे सत्र में संदर्भ बनाए रखे और टूल से जुड़ने पर बाहर की प्रासंगिक जानकारी सामने रखे। डेवलपर सिस्टम प्रॉम्प्ट से लहजा और व्यवहार तय कर सकते हैं, किसी खास क्षेत्र के लिए असिस्टेंट बना सकते हैं और आवाज तैयार होने से पहले Thinker के आउटपुट को अपने सुरक्षा फिल्टर से गुजार सकते हैं।

GPT 4o, Gemini 2.5 और Gemma 3n से तुलना

Qwen3 Omni उन ओमनी मॉडल की श्रेणी में शामिल है, जो एक ही इंजन में कई डेटा प्रकार संभालने का लक्ष्य रखते हैं। OpenAI का GPT 4o टेक्स्ट, इमेज और ऑडियो इनपुट स्वीकार करता है और बंद सेवा के रूप में उपलब्ध है। Google का Gemini 2.5 Pro वीडियो का विश्लेषण भी करता है और बंद मॉडल है। Google का Gemma 3n खुले लाइसेंस के तहत आता है और टेक्स्ट, इमेज, ऑडियो तथा वीडियो इनपुट स्वीकार करता है, लेकिन केवल टेक्स्ट आउटपुट देता है। Alibaba का मॉडल भी यही चार इनपुट स्वीकार करता है और आवाज में आउटपुट देता है, जो असिस्टेंट और लाइव अनुवाद के लिए अहम है।

खुलापन व्यावहारिक अंतर पैदा करता है। Qwen3 Omni के वेट Apache 2.0 के तहत उपलब्ध हैं। कंपनियां मॉडल को स्थानीय स्तर पर चला सकती हैं, उद्योग के नियमों के मुताबिक ढाल सकती हैं और डेटा प्रवाह पर नियंत्रण रख सकती हैं। कुछ उच्चस्तरीय कार्यों में बंद मॉडल अब भी आगे हैं, लेकिन उनके लाइसेंस और डेटा-रेजिडेंसी की शर्तें संवेदनशील क्षेत्रों में तैनाती सीमित कर सकती हैं। कई संगठन मिश्रित सिस्टम चुनेंगे: लागत और नियंत्रण के लिए खुले मॉडल, और जहां प्रदर्शन से समझौता मुश्किल हो वहां सशुल्क सेवाएं।

उत्पादन में इस्तेमाल की तैयारी भी एक और अंतर है। Alibaba ने Qwen परिवार के सैकड़ों संस्करण तैयार किए हैं और डेवलपरों के बीच व्यापक इस्तेमाल की बात कही है। अगर Qwen3 Omni का लाइव वाक् और वीडियो संवाद रोजमर्रा के इस्तेमाल में भी बेंचमार्क के स्तर पर बना रहता है, तो यह उन टीमों के लिए भरोसेमंद विकल्प होगा जिन्हें ऐसा बहुभाषी, कम विलंबता वाला असिस्टेंट चाहिए जिसे वे खुद होस्ट कर सकें।

अपनाने के रुझान और बाजार के संकेत

डेवलपरों की दिलचस्पी साफ दिख रही है। Qwen3 Omni Hugging Face की ट्रेंडिंग सूची में शीर्ष पर पहुंच गया है और Alibaba के दूसरे मॉडल भी अब शीर्ष स्थानों में शामिल हैं। यह तेजी उस व्यापक बदलाव को दर्शाती है जिसमें चीनी प्रयोगशालाओं के ओपन मॉडल वैश्विक समुदाय में लोकप्रिय हो रहे हैं।

Alibaba Cloud के मुताबिक Qwen परिवार को दुनिया भर में 40 करोड़ से अधिक बार डाउनलोड किया गया है और इस श्रृंखला की शुरुआत के बाद से कंपनी 300 से ज्यादा मॉडल जारी कर चुकी है। निवेशकों की प्रतिक्रिया सकारात्मक रही है। Qwen3 Omni के कम्युनिटी चार्ट में शीर्ष पर पहुंचने के दिन Hong Kong में Alibaba के शेयर 4 प्रतिशत से कुछ अधिक चढ़े। यह संकेत है कि बाजार कंपनी की AI प्रगति पर नजर रख रहा है।

‘ओपन’ का अर्थ क्या है, इस पर भी बहस है। मॉडल Apache 2.0 लाइसेंस के तहत जारी हैं और उनके वेट उपलब्ध हैं, लेकिन कच्चे डेटा से प्रशिक्षण को फिर से दोहराने की पूरी प्रक्रिया सार्वजनिक नहीं है। शुद्धतावादी इसे ‘ओपन वेट’ कहेंगे। ज्यादातर उद्यमों के लिए लाइसेंस की शर्तें मायने रखती हैं, जो प्रति उपयोगकर्ता या प्रति सीट शुल्क दिए बिना उत्पाद जारी करने की अनुमति देती हैं।

सुरक्षा और प्रशासन के मोर्चे पर किन बातों पर नजर रखें

उद्यम पूछेंगे कि क्या बताए गए बेंचमार्क सुधार अधिक कार्यभार के दौरान भी अनुमानित और सुरक्षित व्यवहार में तब्दील होते हैं। वाक् प्रणालियों में गलत सुने गए निर्देशों से लेकर विश्वसनीय लगने वाली आवाज की नकल तक, अलग तरह के जोखिम होते हैं। टीमों को पहचान सत्यापन, सामग्री फिल्टर और डेटा रखने की अवधि के लिए सुरक्षा सीमाएं तय करनी चाहिए। Thinker और Talker का अलगाव ऐसे नियंत्रणों में मदद करता है, क्योंकि आवाज तैयार होने से पहले सुरक्षा परत टेक्स्ट को रोककर जांच सकती है।

संचालन के लिए तैयारी भी अहम होगी। बड़े पैमाने पर ओपन मॉडल अपनाने वाले संगठन अक्सर MLOps, फाइन-ट्यूनिंग पाइपलाइन और मूल्यांकन में निवेश करते हैं। टेक्स्ट, ऑडियो, इमेज और वीडियो एक ही जगह संभालकर Qwen3 Omni कई मॉडल साथ चलाने की जरूरत घटाता है। इससे बुनियादी ढांचा सरल और उत्पाद विकास का चक्र तेज हो सकता है, खासकर स्थानीय या संप्रभु क्लाउड तैनाती में, जहां क्षेत्रीय नियमों का पालन जरूरी होता है।

Alibaba ने अगले कदम भी बताए हैं। इनमें कई वक्ताओं को बेहतर ढंग से पहचानना, वीडियो में टेक्स्ट पहचानना, संयुक्त ऑडियो और वीडियो से बेहतर सीखना और अधिक सक्षम स्वायत्त एजेंट बनाना शामिल है। ये लक्ष्य उन क्षेत्रों से मेल खाते हैं जहां ग्राहक पायलट परियोजनाओं को उत्पादन में ले जाते समय सबसे पहले मॉडल को आजमाएंगे।

मुख्य बिंदु

• Qwen3 Omni एक ऐसा मॉडल है जो टेक्स्ट, इमेज, ऑडियो और वीडियो इनपुट स्वीकार करता है और स्ट्रीमिंग गति से टेक्स्ट तथा आवाज में आउटपुट देता है।
• Alibaba इसके वेट Apache 2.0 के तहत जारी करता है। यह लाइसेंस पेटेंट अनुदान के साथ व्यावसायिक उपयोग, बदलाव और पुनर्वितरण की अनुमति देता है।
• अभी तीन संस्करण उपलब्ध हैं: पूरे संवाद के लिए Instruct, टेक्स्ट आउटपुट के साथ लंबे तर्क के लिए Thinking और कम हैलुसिनेशन वाले ऑडियो वर्णन के लिए Captioner।
• Thinker और Talker तर्क तथा आवाज तैयार करने के काम अलग-अलग करते हैं। Mixture of Experts की मदद से एक साथ कई अनुरोध आने पर भी विलंबता कम रहती है।
• पहला पैकेट आने में ऑडियो के लिए करीब 234 मिलीसेकंड और वीडियो के लिए लगभग 547 मिलीसेकंड लगते हैं। प्रतिक्रिया रियल टाइम फैक्टर के भीतर रहती है।
• मॉडल 119 टेक्स्ट भाषाओं को सपोर्ट करता है, 19 भाषाओं में बोली समझता है और 10 में बोल सकता है। इनमें कैंटोनीज़ जैसी बोलियों का समर्थन भी शामिल है।
• करीब 2 करोड़ घंटे के ऑडियो पर प्रशिक्षित 60 करोड़ पैरामीटर वाला AuT एनकोडर वाक् समझने की क्षमता का आधार है।
• बेंचमार्क में 36 में से 22 परीक्षणों पर मॉडल पहले स्थान पर और ओपन मॉडल में 32 पर आगे है। वाक्, संगीत, विजन और वीडियो में इसके नतीजे मजबूत हैं।
• API की कीमत प्रति हजार टेक्स्ट इनपुट टोकन 0.00025 डॉलर और प्रति हजार टेक्स्ट आउटपुट टोकन 0.00096 डॉलर से शुरू होती है। 90 दिनों के लिए 10 लाख टोकन का मुफ्त परीक्षण उपलब्ध है।
• Hugging Face पर इसे तेजी से अपनाया जा रहा है। Alibaba के मुताबिक Qwen मॉडल करोड़ों बार डाउनलोड किए गए हैं और उद्यम उत्पादन में ओपन मॉडल के इस्तेमाल का मूल्यांकन कर रहे हैं।