Huawei ने पेश किया SINQ: कुशल LLM के लिए ओपन-सोर्स क्वांटाइजेशन

रोजमर्रा के LLM परिनियोजन के लिए SINQ क्यों अहम है

बड़े भाषा मॉडल को बहुत अधिक मेमोरी की जरूरत होती है। यही एक वजह है कि उन्नत मॉडल चलाने के लिए अक्सर प्रीमियम डेटा सेंटर GPU और महंगे क्लाउड नोड की आवश्यकता पड़ती है। ज्यूरिख स्थित Huawei की कंप्यूटिंग सिस्टम्स लैब ने SINQ पेश किया है, जो एक नई क्वांटाइजेशन विधि है और इस समीकरण को बदलने का लक्ष्य रखती है। Sinkhorn Normalized Quantization नाम का यह तरीका आउटपुट गुणवत्ता में बहुत कम कमी के साथ मेमोरी का इस्तेमाल घटाने पर केंद्रित है। इसे Apache 2.0 लाइसेंस के तहत ओपन सोर्स जारी किया गया है। टीम के अनुसार, SINQ तेज, कैलिब्रेशन-मुक्त और मौजूदा मॉडल वर्कफ़्लो में आसानी से जोड़ा जा सकता है।

क्वांटाइजेशन से मॉडल के वेट को दर्शाने के लिए इस्तेमाल होने वाले बिट्स की संख्या कम होती है। 16-बिट या 8-बिट फ्लोट से 4-बिट इंटीजर पर जाने से मेमोरी का इस्तेमाल आधे से भी अधिक घट सकता है। हालांकि, खासकर 8 बिट से कम पर, सटीकता प्रभावित हुए बिना इतनी बचत हासिल करना मुश्किल है। SINQ का मुख्य दावा है कि यह कम प्रिसिजन पर, यहां तक कि 4 बिट और कुछ मामलों में 3 बिट पर भी, गुणवत्ता बनाए रखता है और कई ज्ञात तरीकों की तुलना में इसे लागू करना तेज है।

लेखकों द्वारा जांचे गए विभिन्न मॉडलों और आर्किटेक्चर में SINQ मेमोरी का इस्तेमाल करीब 60 से 70 प्रतिशत तक घटाता है। इतनी बड़ी कमी से कई मॉडल एक ही उपभोक्ता GPU पर चलाए जा सकते हैं, जैसे 24 GB मेमोरी वाला Nvidia GeForce RTX 4090। इसके लिए A100 या H100 जैसे एंटरप्राइज़ GPU की जरूरत नहीं पड़ती। क्लाउड वर्कलोड में कम कीमत वाले इंस्टेंस लंबे समय तक चलने वाले इन्फरेंस कार्य संभाल सकते हैं, जिससे समय के साथ हजारों डॉलर की बचत हो सकती है। लैब, स्टार्टअप और स्थानीय स्तर पर मॉडल चलाने के शौकीनों के लिए वर्कस्टेशन पर सक्षम मॉडल चलाने की बाधा भी कम होती है।

पिछली क्वांटाइजेशन विधियों से SINQ कैसे अलग है

व्यवहार में LLM क्वांटाइजेशन के अधिकतर तरीके केवल वेट पर काम करते हैं। वेट हर लेयर के सीखे हुए पैरामीटर होते हैं और मॉडल के आकार में इनका सबसे बड़ा योगदान होता है। एक्टिवेशन क्वांटाइजेशन भी संभव है, लेकिन इससे अक्सर जटिलता बढ़ती है और रनटाइम प्रभावित हो सकता है। कई व्यापक रूप से इस्तेमाल होने वाले तरीकों में सेटअप के दौरान, जिसे कैलिब्रेशन कहा जाता है, गणना का अतिरिक्त समय देकर ऐसे स्केल फैक्टर खोजे जाते हैं जो क्वांटाइजेशन से पैदा हुई त्रुटि को कम करें। इसके लिए डेटा का एक नमूना और मॉडल पर अतिरिक्त पास चलाने पड़ते हैं। इससे गुणवत्ता बेहतर हो सकती है, लेकिन इसमें समय लगता है, प्रॉम्प्ट सावधानी से चुनने पड़ते हैं और पाइपलाइन जटिल हो जाती है।

SINQ अलग रास्ता अपनाता है। इसमें दो जुड़ी हुई तकनीकें हैं, जिनका उद्देश्य वेट को कम प्रिसिजन में राउंड करने से पहले उनके वितरण को संतुलित रखना है। पहली तकनीक, डुअल-एक्सिस स्केलिंग, वेट मैट्रिक्स की पंक्तियों और कॉलम पर अलग-अलग स्केलिंग वेक्टर लागू करती है। इससे हर टेंसर या चैनल के लिए एक ही स्केल रखने की तुलना में अधिक बारीक नियंत्रण मिलता है। यह त्रुटि को इस तरह फैलाती है कि आउटलायर और स्थानीय असंतुलन का असर घटता है।

दूसरी तकनीक में SINQ, Sinkhorn Knopp नॉर्मलाइज़ेशन से प्रेरित प्रक्रिया अपनाता है। एल्गोरिदम पंक्तियों और कॉलम के आंकड़ों को संतुलित करने के लिए सरल नॉर्मलाइज़ेशन को बारी-बारी से लागू करता है। SINQ में यह विधि पंक्तियों और कॉलम के मानक विचलन को सामान्य करती है, ताकि वेट मैट्रिक्स का कोई एक हिस्सा हावी न हो। संतुलन का यह चरण वेट को क्वांटाइजेशन के प्रति अधिक अनुकूल बनाता है और हर लेयर के लिए महंगे कैलिब्रेशन डेटा के बिना समग्र त्रुटि घटाता है।

परीक्षणों में मेमोरी की बचत, गति और गुणवत्ता

लेखकों के अनुसार, पूर्ण प्रिसिजन वेट की तुलना में मेमोरी का इस्तेमाल लगातार 60 से 70 प्रतिशत तक घटता है। साथ ही, अलग-अलग आर्किटेक्चर में सटीकता मूल मॉडल के करीब रहती है। व्यवहार में इससे 60 GB से अधिक मेमोरी की जरूरत वाला मॉडल करीब 20 GB में चल सकता है। सामान्य GPU पर यह बदलाव तय कर सकता है कि मॉडल मेमोरी में समाएगा या धीमी होस्ट RAM का सहारा लेगा।

रिसर्च और उत्पादन, दोनों में क्वांटाइजेशन की गति मायने रखती है। रिपोर्ट किए गए परीक्षणों में SINQ, HQQ से करीब दोगुनी और AWQ से 30 गुना से अधिक तेज मॉडल क्वांटाइज करता है। मॉडल पर बार-बार काम करने वाली टीमों के लिए समय का यह अंतर कई घंटे की प्री-प्रोसेसिंग को ऐसी तेज प्रक्रिया में बदल सकता है जो डेवलपमेंट चक्र में आसानी से फिट हो जाए।

गुणवत्ता को परप्लेक्सिटी और फ्लिप रेट जैसे मेट्रिक्स से मापा जाता है। परप्लेक्सिटी बताती है कि भाषा मॉडल टेक्स्ट का अनुमान कितनी अच्छी तरह लगाता है। फ्लिप रेट यह गिनती है कि क्वांटाइजेशन के बाद शीर्ष टोकन कितनी बार बदलते हैं। विभिन्न बेंचमार्क में SINQ, कैलिब्रेशन-मुक्त अन्य आधार तरीकों की तुलना में परप्लेक्सिटी घटाता है और फ्लिप रेट कम करता है, जो अधिक स्थिर आउटपुट का संकेत है। यह तरीका नॉन-यूनिफॉर्म क्वांटाइजेशन स्कीम के साथ भी काम करता है। सटीकता और बढ़ाने के लिए इसे कैलिब्रेशन के साथ जोड़ा जा सकता है।

हार्डवेयर और क्लाउड लागत पर असर

इन्फरेंस की लागत मेमोरी के साथ बढ़ती है। एक GPU में समाने वाला मॉडल महंगे मॉडल-पैरेलल सेटअप और नेटवर्क ओवरहेड से बचाता है। SINQ की मदद से कई मध्यम से बड़े मॉडल एक अधिक मेमोरी वाले उपभोक्ता GPU पर चलाए जा सकते हैं। जो ऑपरेटर पहले A100 या H100 नोड पर निर्भर थे, वे अधिक किफायती GPU पर सेवा देकर मासिक बिल घटा सकते हैं और प्रमुख GPU को ट्रेनिंग के लिए खाली रख सकते हैं।

क्लाउड उपयोगकर्ता छोटे GPU इंस्टेंस चुन सकते हैं या हर नोड पर एक साथ अधिक मॉडल चला सकते हैं। चैट असिस्टेंट या रिट्रीवल-ऑगमेंटेड जनरेशन सेवाओं जैसे लंबे समय तक चलने वाले कार्यों में कम लागत वाले GPU इस्तेमाल करने से कई हफ्तों और महीनों में हजारों डॉलर बच सकते हैं। डेटा को अपने परिसर में रखने वाली टीमों के लिए छोटे ऑन-प्रिमाइसेस क्लस्टर भी व्यावहारिक हो जाते हैं।

इसका एक अतिरिक्त लाभ लेटेंसी और ऊर्जा खपत में दिखता है। कम डिवाइस, नोड के बीच कम कॉल और होस्ट से डिवाइस तक मेमोरी का कम ट्रैफिक प्रतिक्रिया समय और बिजली की खपत घटा सकता है। कुल मिलाकर, सेवा देने वाला सिस्टम कम जटिल और कम हिस्सों पर निर्भर हो जाता है।

डेवलपर आज क्या इस्तेमाल कर सकते हैं

SINQ Apache 2.0 लाइसेंस के तहत ओपन सोर्स उपलब्ध है। रिलीज़ में इम्प्लीमेंटेशन कोड, लोकप्रिय हब से मॉडल क्वांटाइज करने के निर्देश और क्वांटाइज किए गए वेट को सेव व दोबारा लोड करने की यूटिलिटी शामिल हैं। पैकेज में मूल्यांकन के ऐसे टूल भी हैं जिनसे टीमें परिनियोजन से पहले परप्लेक्सिटी और फ्लिप रेट माप सकती हैं। इसमें अलग-अलग हार्डवेयर और सटीकता के लक्ष्यों के लिए पैरामीटर समायोजित करने की सुविधा भी है।

लेखकों का कहना है कि उनकी योजना पहले से क्वांटाइज किए गए मॉडल जारी करने और Hugging Face Transformers इकोसिस्टम के साथ एकीकरण करने की है। इससे डेवलपर परिचित API के जरिए क्वांटाइज किया हुआ चेकपॉइंट लोड कर सकेंगे और इसे अपनाना आसान होगा। अपनी इन्फरेंस स्टैक संभालने वाली टीमें वेट क्वांटाइज करके शुरुआत कर सकती हैं और फिर नतीजों को अपने चुने हुए रनटाइम में 4-बिट या 3-बिट स्टोरेज फॉर्मेट सपोर्ट करने वाले कर्नेल से जोड़ सकती हैं।

तकनीकी खूबियां, आसान भाषा में

SINQ को मॉडल तैयार करने की पाइपलाइन में प्लग-एंड-प्ले चरण के रूप में बनाया गया है। इसका लक्ष्य वेट मैट्रिक्स को इस तरह ढालना है कि कम प्रिसिजन वाला निरूपण इन्फरेंस के लिए अहम संरचना को बनाए रखे। इसके बाद इन ढाले गए वेट को कॉम्पैक्ट इंटीजर फॉर्मेट में बदला जाता है।

डुअल-एक्सिस स्केलिंग

पारंपरिक पर-टेंसर या पर-चैनल स्केलिंग में एक दिशा में एक ही फैक्टर लगाया जाता है। डुअल-एक्सिस स्केलिंग हर वेट मैट्रिक्स की पंक्तियों पर एक वेक्टर और कॉलम पर दूसरा वेक्टर लागू करती है। जब कुछ पंक्तियों में आउटलायर हों या कुछ कॉलम में विचरण अधिक हो, तो यह अलग-अलग स्केलिंग मददगार होती है। दोनों दिशाओं को सामान्य करके यह विधि क्वांटाइजेशन त्रुटि को मैट्रिक्स में अधिक समान रूप से फैलाती है। इससे त्रुटि के तेज उछाल कम होते हैं और वेट के सापेक्ष परिमाण बेहतर ढंग से सुरक्षित रहते हैं।

Sinkhorn Knopp नॉर्मलाइज़ेशन

Sinkhorn Knopp एक क्लासिक पुनरावृत्त प्रक्रिया है, जो संतुलित स्थिति तक पहुंचने के लिए सरल नॉर्मलाइज़ेशन को बारी-बारी से लागू करती है। SINQ में लक्ष्य डबल स्टोकास्टिक मैट्रिक्स बनाना नहीं, बल्कि पंक्तियों और कॉलम के मानक विचलन को संतुलित करना है। एल्गोरिदम पंक्तियों और कॉलम को बार-बार रीस्केल करके उनके मानक विचलन को तय लक्ष्य के अनुरूप करता है। इस तरह मैट्रिक्स के संतुलित होने पर क्वांटाइजेशन ऐसे वेट वितरण पर काम करता है जिसमें चरम मान कम होते हैं और राउंडिंग त्रुटि घटती है। यह प्रक्रिया तेज है, लंबे कैलिब्रेशन पास की तुलना में बहुत कम अतिरिक्त समय लेती है और कैलिब्रेशन डेटासेट की जरूरत खत्म करती है।

कैलिब्रेशन-मुक्त डिज़ाइन

कैलिब्रेशन चरण में प्रॉम्प्ट का सेट चुनना, आंकड़े जुटाने के लिए मॉडल चलाना और फिर स्केल निकालना पड़ता है। इससे प्रक्रिया जटिल होती है और अगर कैलिब्रेशन सेट उत्पादन में होने वाले इस्तेमाल से मेल न खाए, तो नतीजे पक्षपाती हो सकते हैं। SINQ वेट के आंकड़ों पर सीधे काम करके यह चरण छोड़ देता है। कई टीमों के लिए कैलिब्रेशन हटने से ऑटोमेशन और दोहराव आसान होता है। अगर किसी परियोजना में कैलिब्रेशन फिर भी जरूरी हो, तो SINQ की वेट-शेपिंग को उसके ऊपर कैलिब्रेशन सर्च के साथ जोड़ा जा सकता है, जिससे अधिकतम सटीकता हासिल करने का एक और रास्ता मिलता है।

सीमाएं और व्यावहारिक बातें

रिपोर्ट किए गए अधिकांश लाभ केवल वेट क्वांटाइजेशन से मिलते हैं। जनरेशन के दौरान एक्टिवेशन और की-वैल्यू कैश अब भी मेमोरी लेते हैं, खासकर लंबे प्रॉम्प्ट और आउटपुट में। कुछ रनटाइम एक्टिवेशन क्वांटाइजेशन और KV कैश कम्प्रेशन की सुविधा देते हैं, लेकिन इन तरीकों के अपने समझौते हैं। टीमों को केवल डिस्क पर मॉडल के आकार के बजाय शुरू से अंत तक मेमोरी और लेटेंसी मापनी चाहिए।

रनटाइम सपोर्ट भी अहम है। इन्फरेंस के समय गति में सुधार देखने के लिए कर्नेल को पैक किए गए 4-बिट या 3-बिट वेट कुशलता से पढ़ने चाहिए। llama.cpp, TensorRT LLM और vLLM जैसे लोकप्रिय इंजन तेजी से विकसित हो रहे हैं, फिर भी प्रिसिजन, अटेंशन कर्नेल और GPU आर्किटेक्चर के हर मेल का समर्थन समान रूप से परिपक्व नहीं है। किसी सेवा को उत्पादन में भेजने से पहले, बैच आकार और कॉन्टेक्स्ट लंबाई समेत सटीक कॉन्फ़िगरेशन पर थ्रूपुट, लेटेंसी और स्थिरता जांचें।

बहुत कम प्रिसिजन से कुछ खास कार्य प्रभावित हो सकते हैं। कोड जनरेशन, टूल का इस्तेमाल और संरचित आउटपुट सामान्य बातचीत की तुलना में अधिक संवेदनशील हो सकते हैं। परप्लेक्सिटी जैसे मेट्रिक्स उपयोगी हैं, लेकिन उत्पादन परीक्षणों में कार्य की सटीकता, जवाब की शैली और सुरक्षा जांच भी शामिल होनी चाहिए। अगर किसी उपयोग में सीमाएं सामने आती हैं, तो मिक्स्ड प्रिसिजन या संवेदनशील लेयर पर चुनिंदा रूप से अधिक प्रिसिजन रखने से मेमोरी की अधिकांश बचत बनाए रखते हुए गुणवत्ता सुरक्षित रखी जा सकती है।

एक कंपनी से आगे इसका महत्व

व्यावहारिक LLM परिनियोजन के लिए क्वांटाइजेशन बुनियादी तकनीक बन गई है। तेज, कैलिब्रेशन-मुक्त और कम प्रिसिजन पर प्रभावी ओपन-सोर्स विधि पूरे इकोसिस्टम के लिए मददगार है। कम मेमोरी में चलने वाले मॉडल शिक्षा, नागरिक परियोजनाओं और छोटे व्यवसायों के लिए सक्षम मॉडल तक पहुंच बढ़ाते हैं। इससे महंगे हाई-एंड GPU की कमी का दबाव भी घटता है और ट्रेनिंग तथा रिसर्च के लिए क्षमता खाली होती है।

इन्फरेंस टूलिंग के क्षेत्र में प्रतिस्पर्धा तेज हो रही है। SINQ जैसी विधियां कुशल अटेंशन कर्नेल, पेज्ड KV कैश और ऑप्टिमाइज़्ड शेड्यूलर के साथ मिलकर प्रति डॉलर अधिक टोकन प्रति सेकंड दे सकती हैं। नतीजा सिर्फ सस्ती सेवा तक सीमित नहीं है। इससे उन टीमों के लिए विकल्पों का दायरा भी बढ़ता है जो निजता, डेटा को स्थानीय स्तर पर रखने और अपनी स्टैक पर नियंत्रण को महत्व देती हैं।

मुख्य बातें

• Huawei का SINQ, LLM वेट के लिए ओपन-सोर्स क्वांटाइजेशन तरीका है, जिसे Apache 2.0 के तहत जारी किया गया है
• SINQ के अनुसार, 4 बिट और कुछ मामलों में 3 बिट पर मजबूत गुणवत्ता के साथ मेमोरी 60 से 70 प्रतिशत तक घट सकती है
• यह तरीका कैलिब्रेशन-मुक्त है और मौजूदा वर्कफ़्लो में आसानी से एकीकृत करने के लिए बनाया गया है
• SINQ वेट मैट्रिक्स को संतुलित करने के लिए डुअल-एक्सिस स्केलिंग और Sinkhorn Knopp शैली का नॉर्मलाइज़ेशन इस्तेमाल करता है
• रिपोर्ट किए गए परीक्षणों में क्वांटाइजेशन, HQQ से करीब 2 गुना और AWQ से 30 गुना से अधिक तेज है
• आधार कैलिब्रेशन-मुक्त तरीकों की तुलना में गुणवत्ता मेट्रिक्स बेहतर हैं: परप्लेक्सिटी और फ्लिप रेट कम होते हैं
• पहले 60 GB से अधिक मेमोरी की जरूरत वाले मॉडल करीब 20 GB में चल सकते हैं, जिससे RTX 4090 जैसे उपभोक्ता हार्डवेयर पर एक GPU में परिनियोजन संभव होता है
• आगे की योजनाओं में Hugging Face Transformers के साथ एकीकरण और पहले से क्वांटाइज किए गए मॉडल जारी करना शामिल है