अलीबाबा ने ओपन सोर्स मल्टीमॉडल एआई मॉडल Qwen3 Omni पेश किया

मल्टीमॉडल एआई में एक नया ओपन सोर्स दावेदार

अलीबाबा ने Qwen3 Omni पेश किया है, जो एक व्यापक मल्टीमॉडल मॉडल है। यह टेक्स्ट पढ़ सकता है, तस्वीरें देख सकता है, ऑडियो सुन सकता है और वीडियो देख सकता है। यह टेक्स्ट और स्वाभाविक वाणी, दोनों में जवाब देता है। कंपनी इसे मूल रूप से शुरू से अंत तक काम करने वाला ओम्नी मॉडल बताती है। इसका मतलब है कि मॉडल को शुरुआत से ही इन सभी इनपुट को एक साथ संभालने के लिए बनाया गया है, न कि वाणी या विज़न को बाद में जोड़े गए अतिरिक्त फीचर की तरह। ऐसे समय में यह मॉडल पेश किया गया है जब कई संगठन ओपन सोर्स मॉडल और GPT 4o तथा Gemini 2.5 Pro जैसी मालिकाना प्रणालियों के बीच लागत और नियंत्रण के फायदे-नुकसान पर विचार कर रहे हैं। सबसे बड़ा अंतर इसकी उपलब्धता है। Qwen3 Omni को Apache 2.0 लाइसेंस के तहत जारी किया गया है। यह उदार लाइसेंस व्यावसायिक इस्तेमाल, बदलाव और पुनर्वितरण की अनुमति देता है। इससे उन टीमों के लिए बाधाएं कम होती हैं जो प्रति उपयोगकर्ता शुल्क या किसी एक विक्रेता पर निर्भरता के बिना मॉडल को अपने सर्वर पर चलाना या उसके आधार पर उत्पाद तैयार करना चाहती हैं।

Qwen3 Omni टेक्स्ट, इमेज और ऑडियो की आम तिकड़ी से आगे भी जाता है। यह वीडियो का विश्लेषण कर सकता है, जबकि अब तक यह सुविधा मुख्यतः बंद प्लेटफॉर्म तक सीमित रही है। मॉडल टेक्स्ट के लिए 119 भाषाओं, वाणी इनपुट के लिए 19 भाषाओं और वाणी आउटपुट के लिए 10 भाषाओं का समर्थन करता है। इनमें प्रमुख भाषाओं के साथ कैंटोनीज़ जैसी कुछ बोलियां भी शामिल हैं। शुरुआती जानकारियों में स्ट्रीमिंग की ऐसी तेज प्रतिक्रिया पर जोर दिया गया है जो एक बार में जवाब देने के बजाय बातचीत जैसी लगती है। इसमें ऑडियो का पहला पैकेट लगभग एक चौथाई सेकंड और वीडियो का पहला पैकेट करीब आधे सेकंड में मिलता है। सहायता कॉल या मोबाइल गाइड जैसे वास्तविक समय के इस्तेमाल में यह प्रतिक्रिया समय अहम है, जहां सहायक को तुरंत बीच में बोलने, स्पष्टीकरण मांगने और बातचीत आगे बढ़ाने की जरूरत पड़ सकती है।

इस रिलीज़ में अलग-अलग कामों के लिए बनाए गए तीन संस्करण शामिल हैं। Instruct पूर्ण सुविधाओं वाला बातचीत मॉडल है। Thinking जटिल तर्क और विचार की लंबी शृंखलाओं पर केंद्रित है और टेक्स्ट आउटपुट देता है। Captioner ऑडियो का वर्णन करने में माहिर है, जहां मनगढ़ंत जानकारी की दर कम रखना महत्वपूर्ण होता है। डेवलपर लोकप्रिय मॉडल हब से मॉडल के वेट्स ले सकते हैं, तेज Flash विकल्प वाला API इस्तेमाल कर सकते हैं या डोमेन और शैली पर नियंत्रण के लिए मॉडल को फाइन-ट्यून कर सकते हैं। कंपनी के बताए बेंचमार्क में वाणी, ऑडियो और वीडियो से जुड़े कामों पर अच्छे नतीजे दिखाए गए हैं, जबकि टेक्स्ट और विज़न में प्रदर्शन अग्रणी प्रणालियों के मुकाबले प्रतिस्पर्धी बना हुआ है।

Qwen3 Omni को क्या अलग बनाता है

कई तकनीकी फैसले Qwen3 Omni को दूसरे मॉडलों से अलग करते हैं। पहला, इसकी ट्रेनिंग प्रक्रिया में शुरुआत से ही एकल-मॉडैलिटी और क्रॉस-मॉडल डेटा मिलाया जाता है, फिर प्रीट्रेनिंग और पोस्ट-ट्रेनिंग के दौरान इसका पैमाना बढ़ाया जाता है। दूसरा, मॉडल Mixture of Experts आर्किटेक्चर का इस्तेमाल करता है, जिसमें हर टोकन के लिए पैरामीटर के एक छोटे हिस्से को सक्रिय किया जाता है। इससे थ्रूपुट बेहतर हो सकता है और इन्फरेंस की लागत घट सकती है। वास्तविक समय के अनुप्रयोगों और हार्डवेयर की सीमाओं के भीतर तैनाती के लिए यह अहम है। तीसरा, प्रणाली तर्क और वाणी को Thinker और Talker नाम के दो समन्वित घटकों में बांटती है। Thinker मल्टीमॉडल समझ और तर्क का मुख्य काम करता है। Talker उच्च-स्तरीय निरूपणों को ऐसी वाणी में बदलता है जिसमें समय-निर्धारण और आवाज़ का चरित्र बरकरार रहता है।

अलग-अलग जरूरतों के लिए मॉडल के तीन संस्करण

टीमें अपनी जरूरत के हिसाब से सही विकल्प चुन सकें, इसके लिए Alibaba Cloud ने Qwen3 Omni 30B A3B परिवार के तीन संस्करण जारी किए हैं:

• Instruct, जो टेक्स्ट, इमेज, ऑडियो और वीडियो इनपुट के लिए Thinker और Talker को जोड़ता है और टेक्स्ट तथा वाणी, दोनों में आउटपुट देता है।
• Thinking, जो गहरे तर्क और विचार की लंबी शृंखलाओं पर केंद्रित है, वही मल्टीमॉडल इनपुट स्वीकार करता है और सिर्फ टेक्स्ट आउटपुट देता है।
• Captioner, जो कम मनगढ़ंत जानकारी के साथ ऑडियो का वर्णन और कैप्शन तैयार करता है। यह मीडिया विश्लेषण, सुगम्यता और कंटेंट मॉडरेशन जैसे कामों में उपयोगी है।

API में कम विलंब और अधिक समवर्ती अनुरोधों के लिए Flash संस्करण भी है। अगर आप ऐसा कॉल सेंटर सहायक या शॉपिंग गाइड बना रहे हैं जिसे जवाब देने में देरी किए बिना अचानक बढ़े ट्रैफिक को संभालना हो, तो यह उपयोगी हो सकता है।

Thinker और Talker आर्किटेक्चर के भीतर

Qwen3 Omni जिम्मेदारियों को अलग रखता है, ताकि वाणी स्वाभाविक बनी रहे और तर्क में लचीलापन भी रहे। Thinker मुख्य मल्टीमॉडल मॉडल है। यह टेक्स्ट, इमेज, ऑडियो और वीडियो की विशेषताओं को संरेखित और एकीकृत करता है, फिर टोकन-स्तर के निरूपण तैयार करता है जिनसे जवाब बनता है। Talker वाणी तैयार करने वाला अलग घटक है। Thinker के आउटपुट को टेक्स्ट के रूप में लेने के बजाय, यह सीधे ऑडियो और विज़ुअल विशेषताओं पर निर्भर करता है। इससे Talker को जो दिखता और सुनाई देता है, उसके अनुरूप वाणी के उतार-चढ़ाव और आवाज़ का रंग बनाए रखने में मदद मिलती है। इससे अनुवाद और वॉयस एक्टिंग की खूबियों, जैसे बोलने की गति, जोर और भावनात्मक लहजे में सुधार होता है।

वाणी में विलंब घटाने के लिए Talker मल्टी-कोडबुक ऑटोरिग्रेसिव तरीका अपनाता है, जो अलग-अलग ध्वनिक टोकन का अनुमान लगाता है। इसके बाद हल्का Code2Wav कन्वोल्यूशनल नेटवर्क उन टोकन को वेवफॉर्म में बदलता है। चूंकि Talker, Thinker के टेक्स्ट से अलग काम करता है, इसलिए वाणी तैयार होने से पहले बाहरी मॉड्यूल Thinker के आउटपुट को प्रभावित या फ़िल्टर कर सकते हैं। इससे सुरक्षा प्रक्रियाएं अधिक व्यावहारिक बनती हैं, क्योंकि नीति जांच और जानकारी खोजने के चरण सोचने और बोलने के बीच चलाए जा सकते हैं। स्ट्रीमिंग प्रदर्शन इस प्रणाली का अहम हिस्सा है। कंपनी के आंकड़ों के मुताबिक, ऑडियो का पहला पैकेट करीब 234 मिलीसेकंड और वीडियो का पहला पैकेट करीब 547 मिलीसेकंड में मिलता है। प्रणाली का रियल टाइम फैक्टर एक से कम रहता है। इसका मतलब है कि कई अनुरोध संभालते समय भी यह ऑडियो को उसकी प्लेबैक अवधि से तेज़ बना सकती है।

इस आर्किटेक्चर में Thinker और Talker, दोनों के लिए Mixture of Experts का इस्तेमाल होता है। इस तरीके में मॉडल कई छोटे विशेषज्ञ नेटवर्क और एक गेटिंग नेटवर्क से बना होता है। गेटिंग नेटवर्क हर टोकन को उनमें से कुछ नेटवर्क तक भेजता है। हर टोकन पर पैरामीटर का छोटा हिस्सा ही चलता है, जिससे एक साथ अधिक अनुरोध संभालने और इन्फरेंस को तेज बनाए रखने में मदद मिलती है। डेवलपर के लिए इसका मतलब ऐसा सहायक हो सकता है जो तुरंत बीच में बोलकर बातचीत करे, न कि ऐसा बॉट जो अपनी बारी आने का इंतजार करता रहे।

इसे कैसे बनाया गया और यह क्या समर्थन करता है

ऑडियो प्रदर्शन की शुरुआत एनकोडर से होती है। Qwen3 Omni में नए सिरे से बनाया गया Audio Transformer शामिल है, जिसे लगभग 20 मिलियन घंटे के पर्यवेक्षित डेटा पर प्रशिक्षित किया गया है। ट्रेनिंग डेटा में मुख्य रूप से चीनी और अंग्रेज़ी के स्वचालित वाणी पहचान डेटा शामिल हैं। इसके साथ अन्य भाषाओं और ऑडियो समझ पर केंद्रित कामों का डेटा भी है। एनकोडर में करीब 600 मिलियन पैरामीटर हैं। यह कम विलंब के लिए स्ट्रीमिंग कैश का समर्थन करता है और लंबी रिकॉर्डिंग के विश्लेषण जैसे कामों के लिए ऑफलाइन भी चल सकता है। संरेखण के चरणों के जरिए यह एनकोडर मल्टीमॉडल मुख्य मॉडल को इनपुट देता है, ताकि मॉडल अलग-अलग फॉर्मेट में तर्क कर सके।

प्रीट्रेनिंग तीन चरणों में हुई। एनकोडर अलाइनमेंट में भाषा मॉडल को स्थिर रखते हुए विज़न और ऑडियो एनकोडरों को प्रशिक्षित और संरेखित किया गया। सामान्य ट्रेनिंग में टीम ने लगभग 2 ट्रिलियन टोकन तक विस्तार किया, जिनमें टेक्स्ट, ऑडियो, तस्वीरें और कुछ वीडियो तथा ऑडियो-वीडियो जोड़ियां शामिल थीं। लंबा संदर्भ संभालने की ट्रेनिंग में अधिक लंबे ऑडियो और वीडियो अनुक्रम शामिल करते हुए अधिकतम टोकन लंबाई 8,192 से बढ़ाकर 32,768 की गई। पोस्ट-ट्रेनिंग में पर्यवेक्षित फाइन-ट्यूनिंग, अधिक सक्षम शिक्षक मॉडलों से डिस्टिलेशन और Thinker के लिए नियमों तथा मॉडल के निर्णयों पर आधारित नीति अनुकूलन शामिल थे। Talker को चार चरणों में प्रशिक्षित किया गया। इसमें लगातार प्रीट्रेनिंग के साथ करोड़ों मल्टीमॉडल वाणी नमूनों का इस्तेमाल किया गया, ताकि मनगढ़ंत जानकारी घटे और आवाज़ की गुणवत्ता बेहतर हो।

3 अरब पैरामीटर वाले इस परिवार की क्षमताएं और सीमाएं, दोनों व्यापक हैं। Qwen3 Omni टेक्स्ट के लिए 119, वाणी इनपुट के लिए 19 और वाणी आउटपुट के लिए 10 भाषाओं का समर्थन करता है। Thinking Mode में संदर्भ विंडो 65,536 टोकन की है, जबकि Non Thinking Mode में यह 49,152 टोकन की है। मॉडल 16,384 टोकन तक इनपुट और 16,384 टोकन तक आउटपुट संभाल सकता है। विचार की सबसे लंबी शृंखला 32,768 टोकन तक जा सकती है। यह क्षमता जटिल ट्रांसक्रिप्ट, लंबी बैठकों या ऐसे कोडबेस और दस्तावेज़ों में मददगार है जो हिस्सों में बांटे बिना दूसरे मॉडलों की सीमा से बाहर हो सकते हैं।

बेंचमार्क, खूबियां और दावों को समझने का तरीका

36 बेंचमार्क के व्यापक समूह में अलीबाबा का कहना है कि Qwen3 Omni ने 22 में सर्वोच्च अंक हासिल किए और 32 में ओपन सोर्स मॉडलों में सबसे आगे रहा। टेक्स्ट और तर्क के नतीजों में AIME25 पर 65.0 अंक शामिल हैं, जो GPT 4o के घोषित 26.7 से काफी अधिक हैं। ZebraLogic पर इसके 76.0 अंक Gemini 2.5 Flash के प्रकाशित 57.9 से ऊपर हैं। WritingBench पर इसके 82.6 अंक हैं, जबकि GPT 4o के 75.5 हैं। वाणी और ऑडियो में Wenetspeech के दो आम परीक्षण समूहों पर इसकी Word Error Rate 4.69 और 5.89 है, जो GPT 4o के बताए 15.30 और 32.27 से काफी बेहतर है। Librispeech other पर इसकी WER घटकर 2.48 रह जाती है, जो समान मॉडलों में कम है।

इमेज और विज़न के नतीजों में HallusionBench पर 59.7, MMMU pro पर 57.0 और MathVision full पर 56.3 अंक शामिल हैं। कंपनी की रिपोर्ट में ये सभी GPT 4o से अधिक हैं। वीडियो समझने के मामले में मॉडल ने MLVU पर 75.2 अंक हासिल किए, जो Gemini 2.0 Flash के 71.0 और GPT 4o के 64.6 से अधिक हैं। संगीत से जुड़े कामों में भी सुधार दिखा, GTZAN पर 93.0 और RUL MuchoMusic पर 52.0 अंक के साथ। इन आंकड़ों से सामने आने वाली तस्वीर इसके डिजाइन के फोकस के अनुरूप है। Qwen3 Omni टेक्स्ट और इमेज की मजबूत क्षमता बनाए रखते हुए ऑडियो और ऑडियो-विज़ुअल समझ के लिए ऊंचा मानक तय करता है।

बेंचमार्क उपयोगी हैं, लेकिन वे नियंत्रित परीक्षण ही होते हैं। डेटा सेट और स्कोरिंग के तरीके कुछ खास ट्रेनिंग डेटा को लाभ पहुंचा सकते हैं। वास्तविक इस्तेमाल में शोर वाले माइक्रोफोन, अलग-अलग लहजे, खराब फोन कैमरे और तेजी से बदलते संदर्भ जैसी नई चुनौतियां सामने आती हैं। मल्टीमॉडल मॉडलों के सामने एक आम समझौता भी होता है। कई माध्यमों में व्यापक क्षमता के लिए ट्रेनिंग देने से केवल टेक्स्ट वाले कामों में प्रदर्शन, बड़े टेक्स्ट-केंद्रित मॉडलों की तुलना में थोड़ा घट सकता है। टीमों को अपने डेटा पर केंद्रित शुरुआती परीक्षण चलाने चाहिए और जरूरत पड़ने पर मिश्रित मॉडल रणनीति चुननी चाहिए। कई कंपनियां सुनने और देखने वाला छोटा मल्टीमॉडल मॉडल, रिपोर्ट या ईमेल लिखने वाले बड़े टेक्स्ट मॉडल के साथ इस्तेमाल करती हैं। खुला Apache लाइसेंस खरीद संबंधी अड़चनों के बिना इस तरह की व्यवस्था आसान बनाता है।

GPT 4o, Gemini 2.5 Pro और Gemma 3n से तुलना

OpenAI के GPT 4o ने टेक्स्ट, इमेज और ऑडियो को करीबी तालमेल के साथ जोड़कर और स्वाभाविक वाणी देकर अपेक्षाएं तय कीं। Qwen3 Omni इनपुट की सूची में वीडियो विश्लेषण भी जोड़ता है। Google का Gemini 2.5 Pro वीडियो विश्लेषण करता है, लेकिन वह मालिकाना मॉडल बना हुआ है। Google Gemma 3n को खुले मॉडल के रूप में भी पेश करता है। यह टेक्स्ट, इमेज, ऑडियो और वीडियो इनपुट स्वीकार करता है, लेकिन सिर्फ टेक्स्ट आउटपुट देता है। Qwen3 Omni टेक्स्ट और वाणी, दोनों में आउटपुट देता है। इससे लाइव अनुवाद या कॉल सेंटर में एजेंटों के बीच बातचीत सौंपने जैसे इंटरैक्टिव इस्तेमाल के दायरे में बदलाव आता है।

लाइसेंस भी एक अहम फर्क है। Qwen3 Omni को पेटेंट लाइसेंस के साथ Apache 2.0 के तहत प्रकाशित किया गया है। इससे कंपनियां स्रोत कोड सार्वजनिक करने या रनटाइम शुल्क देने की बाध्यता के बिना मॉडल का इस्तेमाल, उसमें बदलाव और उत्पादों में उसे जारी कर सकती हैं। बंद मॉडल के लिए भुगतान करना पड़ता है और उनका इस्तेमाल किसी प्रदाता के प्लेटफॉर्म तक सीमित रहता है। हालांकि, आधुनिक ओपन रिलीज़ के मामले में एक बात ध्यान देने योग्य है। मॉडल के वेट्स और इस्तेमाल का कोड खुले होते हैं, जबकि चुनिंदा ट्रेनिंग डेटा सहित शुरुआत से मॉडल बनाने की पूरी विधि आम तौर पर सार्वजनिक नहीं होती। कई उपयोगकर्ताओं का मुख्य लक्ष्य मॉडल चलाना, उसे फाइन-ट्यून करना और उत्पादन में एकीकृत करना होता है, और यहां इसकी अनुमति है।

विलंब के मामले में भी यह प्रतिस्पर्धी है। अलीबाबा के मुताबिक, ऑडियो का पहला पैकेट करीब 234 मिलीसेकंड और वीडियो का पहला पैकेट करीब 547 मिलीसेकंड में मिलता है। यह बातचीत के सबसे बेहतर सिस्टमों के समान श्रेणी में है। कंपनियों को पहले पैकेट के समय के अलावा सेवा-स्तर के लक्ष्यों का भी आकलन करना चाहिए, जिनमें स्थिर सामग्री मिलने तक का समय और लंबे जवाबों के लिए कुल प्रतिक्रिया समय शामिल हैं। Qwen3 Omni API में Flash संस्करण भी देता है, जो और तेज जवाब के लिए है। इसका उद्देश्य दूसरे इकोसिस्टम के गति-केंद्रित स्तरों जैसा है।

पहुंच, कीमत और मुफ्त कोटा

डेवलपर Qwen3 Omni को कई तरीकों से आजमा सकते हैं। इसके वेट्स प्रमुख मॉडल हब पर उपलब्ध हैं। API एक्टिवेशन के बाद 90 दिनों तक सभी माध्यमों में कुल 10 लाख टोकन का मुफ्त कोटा देता है। कीमत हर एक हजार टोकन के हिसाब से तय होती है। टेक्स्ट इनपुट की कीमत 0.00025 डॉलर है। ऑडियो इनपुट की कीमत 0.00221 डॉलर है। इमेज और वीडियो इनपुट की कीमत 0.00046 डॉलर है। जब इनपुट सिर्फ टेक्स्ट हों, तो टेक्स्ट आउटपुट की कीमत हर एक हजार टोकन पर 0.00096 डॉलर है। इनपुट में इमेज या ऑडियो शामिल होने पर यह कीमत 0.00178 डॉलर है। अगर आप टेक्स्ट और ऑडियो, दोनों आउटपुट मांगते हैं, तो ऑडियो की कीमत हर एक हजार टोकन पर 0.00876 डॉलर है और टेक्स्ट का कोई शुल्क नहीं है।

कई बंद सेवाओं की तुलना में ये दरें कम हैं, जिससे बड़ा बिल आए बिना प्रयोग किए जा सकते हैं। कंपनी के मुताबिक, Thinking Mode और Non Thinking Mode की कीमत समान है। ऑडियो आउटपुट सिर्फ Non Thinking Mode में उपलब्ध है। Model Studio में प्लेटफॉर्म संदर्भ सीमाएं और मॉडल विकल्प भी दिखाता है। यहां कंपनियां गति, गुणवत्ता और लागत के हिसाब से मॉडल चुन सकती हैं। आधिकारिक जानकारी Alibaba Cloud Model Studio के पन्नों पर इस लिंक पर उपलब्ध है।

सहायता केंद्रों से मीडिया टूल तक, उपयोग के मामले

Qwen3 Omni उन कामों के लिए बनाया गया है जिनमें देखना, सुनना और बोलना अहम होता है। कुछ उदाहरण इसके इस्तेमाल का दायरा दिखाते हैं:

• लाइव तकनीकी सहायता। सहायक फोन कैमरे की लाइव फीड देखते हुए ग्राहक की बात सुन सकता है और फिर स्वाभाविक आवाज़ में चरण-दर-चरण मार्गदर्शन दे सकता है।
• बहुभाषी ट्रांसक्रिप्शन और अनुवाद। मॉडल कई भाषाओं में बैठकें, कॉल या व्याख्यान लिखित रूप में बदल सकता है, फिर उनका अंग्रेज़ी सारांश दे सकता है या दूसरी भाषा में जवाब बोलकर सुना सकता है।
• ऑडियो कैप्शन और संगीत टैगिंग। Captioner संस्करण कम मनगढ़ंत जानकारी वाले ऑडियो विवरण तैयार करता है। इनमें पृष्ठभूमि की आवाज़ें और संगीत की विशेषताएं शामिल हो सकती हैं, जो खोज और कॉपीराइट प्रबंधन में उपयोगी हैं।
• वीडियो समझना। मॉडल क्लिप में क्या हुआ, इस बारे में सवालों के जवाब दे सकता है, घटनाओं पर नज़र रख सकता है और दृश्यों का सारांश बना सकता है।
• OCR और दस्तावेज़ इनटेक। विज़न और भाषा को जोड़कर फॉर्म या रसीदों से जानकारी निकाली जा सकती है और फिर संदर्भ के आधार पर उसकी पुष्टि की जा सकती है।
• उपभोक्ता सहायक। पहनने योग्य डिवाइस या फोन मॉडल का इस्तेमाल मेनू के अनुवाद, प्रमुख स्थलों की पहचान और आसपास का वर्णन करने जैसी सुगम्यता सुविधाओं के लिए कर सकते हैं।

डेवलपर सिस्टम प्रॉम्प्ट के जरिए बातचीत की शैली और व्यक्तित्व को फाइन-ट्यून कर सकते हैं। बाहरी सेवाओं से जानकारी खोजने, गणना करने या डेटाबेस देखने के लिए टूल इस्तेमाल की सुविधा भी है। इससे एजेंट-जैसे तरीके बन सकते हैं, जिनमें मॉडल योजना बनाता है, टूल इस्तेमाल करता है और वाणी में जवाब देता है।

लाइसेंस और उद्यमों पर असर

Apache 2.0 लाइसेंस इस कहानी का अहम हिस्सा है। यह व्यावसायिक उपयोग, बदलाव और पुनर्वितरण की अनुमति देता है। इसमें पेटेंट लाइसेंस भी शामिल है, जिससे मॉडल को मालिकाना प्रणालियों में जोड़ने का कानूनी जोखिम घटता है। कंपनियां विक्रेता शुल्क दिए बिना Qwen3 Omni को उत्पादों या अपने आंतरिक कामकाज में शामिल कर सकती हैं और उन्हें अपने बदलावों का स्रोत कोड सार्वजनिक करने की जरूरत नहीं होती। डेटा के प्रवाह और लॉगिंग पर नियंत्रण जरूरी होने के कारण विनियमित क्षेत्रों के लिए यह आकर्षक है। खुले वेट्स से मॉडल को कंपनी के अपने परिसर में या भरोसेमंद क्लाउड पर चलाना भी संभव है।

ओपन रिलीज़ से हर चिंता अपने आप दूर नहीं होती। इसमें आम तौर पर ट्रेनिंग डेटा और पूरा ट्रेनिंग कोड शामिल नहीं होता, यानी समुदाय मॉडल को शुरू से पूरी तरह दोहरा नहीं सकता। कई कंपनियों के लिए यह स्वीकार्य है, क्योंकि उनकी प्राथमिकता मॉडल चलाना, उसे अपने हिसाब से ढालना और सेवा-स्तर के लक्ष्य पूरे करना है। यह रिलीज़ कई मॉडलों के साथ काम करने की रणनीति को मजबूत करती है। टीमें जहां उपयुक्त हो, तेज ओपन मल्टीमॉडल मॉडल को बड़े मालिकाना मॉडल के साथ जोड़ सकती हैं या प्लेटफॉर्म की पाबंदियों से बचने के लिए सब कुछ खुला रख सकती हैं। दोनों ही स्थितियों में, उदार लाइसेंस के तहत वीडियो समझने और वाणी देने वाले मॉडल की उपलब्धता से लंबी बातचीत के बिना अधिक चीजें बनाना संभव होता है।

जोखिम, सुरक्षा उपाय और आगे क्या परखें

मल्टीमॉडल मॉडलों से सुरक्षा और संरक्षा से जुड़े ऐसे सवाल उठते हैं जो टेक्स्ट से आगे जाते हैं। ऑडियो और वीडियो इनपुट में संवेदनशील जानकारी हो सकती है। आधार या फ़िल्टर के बिना वाणी आउटपुट भ्रामक साबित हो सकता है। अलीबाबा ने एक ऐसे गेटिंग चरण का विवरण दिया है जिसमें Talker के वाणी तैयार करने से पहले बाहरी मॉड्यूल Thinker के आउटपुट को रोककर जांच सकते हैं। यह डिजाइन नीति जांच, जानकारी खोजने या रेड टीम फ़िल्टर के इस्तेमाल में मदद करता है। फिर भी कंपनियों को अपने माहौल और क्षेत्र में कंटेंट सुरक्षा की पुष्टि करनी चाहिए। इसमें प्रॉम्प्ट इंजेक्शन से बचाव, निजता नियंत्रण और रिकॉर्डिंग या विश्लेषण के लिए सहमति लेना शामिल है।

प्रदर्शन के दावों को वास्तविक डेटा पर परखना चाहिए। अलग-अलग लहजे, डोमेन की खास शब्दावली और पृष्ठभूमि का शोर स्वचालित वाणी पहचान की गुणवत्ता घटा सकते हैं। कम रोशनी या गति के कारण धुंधली तस्वीरें विज़न की समझ को प्रभावित कर सकती हैं। टूल इस्तेमाल और एजेंटों के समन्वय से गलत टूल कॉल या बार-बार दोहराने जैसी नई विफलताएं सामने आ सकती हैं। लॉगिंग, मानवीय समीक्षा और पिछली स्थिति में लौटने के लिए प्रशासनिक नीतियां जरूरी हैं। अंत में, इन्फ्रास्ट्रक्चर भी मायने रखता है। बड़े पैमाने पर वास्तविक समय की वाणी चलाने के लिए थ्रूपुट, GPU मेमोरी और लोड कम करने की सावधानीपूर्वक योजना जरूरी है। Mixture of Experts दक्षता बढ़ाता है, लेकिन अचानक बढ़े ट्रैफिक और लंबे संदर्भों के लिए टीमों को क्लस्टर और कैश की क्षमता तय करनी होगी।

मुख्य बातें

• अलीबाबा ने Qwen3 Omni को Apache 2.0 के तहत ओपन मॉडल के रूप में जारी किया है। यह टेक्स्ट, इमेज, ऑडियो और वीडियो इनपुट के साथ टेक्स्ट तथा वाणी आउटपुट देता है।
• यह प्रणाली समवर्ती अनुरोधों और कम विलंब वाली स्ट्रीमिंग वाणी के लिए Thinker और Talker डिजाइन तथा Mixture of Experts का इस्तेमाल करती है।
• कंपनी के मुताबिक, ऑडियो का पहला पैकेट करीब 234 मिलीसेकंड और वीडियो का करीब 547 मिलीसेकंड में मिलता है। रियल टाइम फैक्टर एक से कम है।
• इसके तीन संस्करण उपलब्ध हैं: पूरी बातचीत के लिए Instruct, टेक्स्ट के साथ गहरे तर्क के लिए Thinking और ऑडियो कैप्शन के लिए Captioner।
• ट्रेनिंग में करीब 20 मिलियन घंटे के डेटा पर प्रशिक्षित कस्टम Audio Transformer और लगभग 2 ट्रिलियन टोकन वाला मल्टीमॉडल कॉर्पस शामिल है।
• कंपनी के बताए बेंचमार्क में Qwen3 Omni ऑडियो, वीडियो और तर्क के कई परीक्षणों में आगे है, जबकि टेक्स्ट और विज़न में प्रतिस्पर्धी बना हुआ है।
• हर एक हजार टोकन की कीमत कम है। API के जरिए 90 दिनों के लिए 10 लाख टोकन का मुफ्त कोटा मिलता है और अपने सर्वर पर चलाने के लिए मॉडल वेट्स उपलब्ध हैं।
• Apache 2.0 लाइसेंस पेटेंट अधिकार सहित व्यावसायिक उपयोग, बदलाव और पुनर्वितरण की अनुमति देता है, जिससे किसी एक विक्रेता पर निर्भरता घटती है।
• कंपनियों को वास्तविक डेटा पर सुरक्षा, विलंब और सटीकता परखनी चाहिए और वास्तविक समय के कामों के लिए प्रशासन तथा इन्फ्रास्ट्रक्चर की योजना बनानी चाहिए।