Aegaeon पूलिंग सिस्टम से Alibaba Cloud ने Nvidia GPU का इस्तेमाल घटाया

Aegaeon के भीतर: Alibaba Cloud ने AI के लिए GPU की जरूरत कैसे घटाई

Alibaba Cloud का कहना है कि Aegaeon नामक नई प्रणाली की मदद से बड़े भाषा मॉडल को बड़े पैमाने पर सेवा देने के लिए जरूरी Nvidia ग्राफिक्स प्रोसेसर की संख्या में उसने भारी कमी की है। अपने मॉडल मार्केटप्लेस में चलाए गए प्रोडक्शन बीटा के दौरान कंपनी के मुताबिक, Aegaeon ने दर्जनों मॉडल चलाने के लिए जरूरी Nvidia H20 GPU की संख्या 1,192 से घटाकर 213 कर दी। इनमें 72 अरब पैरामीटर तक वाले मॉडल भी शामिल थे। सेवा का स्तर समान रखते हुए तैनात एक्सेलेरेटर में यह 82 प्रतिशत की कमी है। ये नतीजे सियोल में कंप्यूटर सिस्टम अनुसंधान के प्रमुख मंच, ऑपरेटिंग सिस्टम सिद्धांत पर संगोष्ठी (Symposium on Operating Systems Principles) में प्रस्तुत किए गए। क्लाउड सेवाएं खरीदने वालों के लिए इस दावे का अर्थ है संभावित रूप से कम लागत और बिजली की खपत, दुर्लभ चिप की बेहतर उपलब्धता और एक ही प्लेटफॉर्म पर अलग-अलग मॉडल इस्तेमाल करते समय अधिक एकसमान अनुभव।

यह उपलब्धि मॉडल मार्केटप्लेस के दौर की एक बढ़ती समस्या को निशाना बनाती है। क्लाउड प्रदाता अब डेवलपरों को एक साथ हजारों मॉडल उपलब्ध करा रहे हैं। Alibaba के Qwen परिवार और ओपन मॉडल DeepSeek जैसे कुछ मॉडल अधिकांश ट्रैफिक संभालते हैं। कई अन्य मॉडल लंबे समय तक निष्क्रिय रहते हैं और फिर थोड़े समय के लिए अनुरोधों की बाढ़ झेलते हैं। पारंपरिक सर्विंग सिस्टम हर मॉडल इंस्टेंस के लिए पूरे GPU या GPU का बड़ा हिस्सा आवंटित करते हैं। मॉडल शांत हो तो उसका आरक्षित GPU कम इस्तेमाल होता है। पर्याप्त चालू प्रतिकृतियां न होने पर अनुरोध आते ही प्लेटफॉर्म को क्षमता शुरू करनी पड़ती है, जिससे लोड होने में समय लगता है और थ्रूपुट घटता है। Aegaeon कई मॉडलों में GPU संसाधनों को साझा पूल में रखकर और काम को छोटे समय-खंडों में शेड्यूल करके इस गणित को बदलने की कोशिश करता है, ताकि हर एक्सेलेरेटर व्यस्त रहे।

Alibaba Cloud के मुताबिक, Aegaeon का मकसद संसाधनों की बर्बादी के बिना एक साथ चल रहे LLM वर्कलोड को संभालना है। यह प्रणाली आक्रामक मल्टी-मॉडल शेड्यूलिंग को इस तरह की व्यवस्थाओं के साथ जोड़ती है कि मेमोरी में जरूरी डेटा तैयार रहे और मॉडलों के बीच काम न्यूनतम देरी से बदला जा सके। पेकिंग विश्वविद्यालय और Alibaba Cloud की शोध टीम के अनुसार, इससे थ्रूपुट बढ़ता है, कतारें घटती हैं और कम इस्तेमाल होने वाली सेवाओं के लिए निष्क्रिय चिप की संख्या कम होती है।

Aegaeon किस समस्या को हल करने के लिए बनाया गया है?

आधुनिक AI प्लेटफॉर्म पर मांग का बड़ा हिस्सा कुछ लोकप्रिय मॉडलों से आता है। कम लोकप्रिय मॉडल भी डेवलपरों के लिए उपयोगी हैं, लेकिन उन पर कभी-कभार ही अनुरोध आते हैं। Alibaba Cloud ने पाया कि उसके मार्केटप्लेस में 17.7 प्रतिशत GPU केवल 1.35 प्रतिशत अनुरोधों को संभालने के लिए आवंटित थे। जब मॉडल को अलग-अलग एक्सेलेरेटर से बांध दिया जाता है, तो क्लाउड को निष्क्रिय समय और बार-बार होने वाले कोल्ड स्टार्ट की कीमत चुकानी पड़ती है, खासकर जब ट्रैफिक अचानक बढ़े या उसका अनुमान लगाना मुश्किल हो।

बाहर से देखने पर इन्फरेंस सर्व करना सरल लगता है, लेकिन इसके भीतर की प्रक्रिया जटिल है। बड़ा भाषा मॉडल अपने वेट और रनटाइम स्थिति GPU मेमोरी में रखता है। टेक्स्ट जनरेट करते समय सिस्टम की-वैल्यू कैश बनाए रखता है, जिसमें पहले से तैयार टोकन के लिए मध्यवर्ती एक्टिवेशन संग्रहित होते हैं। मॉडल वेट को डिस्क से या नेटवर्क के जरिए लोड करना धीमा होता है। की-वैल्यू कैश को तैयार करने में भी समय लगता है। परंपरागत रूप से एक GPU को एक मॉडल से दूसरे पर ले जाने के लिए पहले मॉडल को हटाना और फिर नया लोड करना पड़ता था, जो महंगा पड़ता है। इस अतिरिक्त लागत के कारण संसाधन साझा करना कम होता था और अधिकांश एक्सेलेरेटर एक या अधिकतम दो मॉडलों के लिए समर्पित रहते थे। Aegaeon इन बदलावों को कहीं अधिक कुशलता से संभालने के लिए बनाया गया है, ताकि GPU भारी लागत के बिना कई मॉडलों के बीच समय साझा कर सकें।

यह प्रणाली कैसे काम करती है

Aegaeon एक मल्टी-मॉडल सर्विंग सिस्टम है, जो GPU को साझा पूल मानता है और बहुत छोटे समय-खंडों में तय करता है कि उस पर क्या चलाया जाए। यह अनुरोध या मॉडल प्रतिकृति के स्तर पर क्षमता बढ़ाने के बजाय हर टोकन के स्तर पर फैसले करता है। शेड्यूलर एक ही GPU पर अलग-अलग उपयोगकर्ताओं और मॉडलों के टोकन जनरेशन को बारी-बारी से चला सकता है, साथ ही महत्वपूर्ण डेटा संरचनाओं को मेमोरी में तैयार रखता है। लक्ष्य है कि प्रति सेकंड उपयोगी काम अधिकतम हो और प्रतिक्रिया समय तय सीमा से ज्यादा न बढ़े।

टोकन स्तर पर स्वचालित स्केलिंग

इसका मुख्य विचार टोकन स्तर पर क्षमता बढ़ाना है। इसका मतलब है कि Aegaeon एक मॉडल के लिए अनुरोध संभालना शुरू कर सकता है और फिर उपलब्ध क्षमता का फायदा उठाकर उसी बैचिंग और कर्नेल लॉन्च के दौरान दूसरे मॉडल के टोकन भी शेड्यूल कर सकता है। शोधपत्र के अनुसार, Aegaeon ने वैकल्पिक पूल की तुलना में अनुरोध आने की 2 से 2.5 गुना अधिक दर को लगातार संभाला, या 1.5 से 9 गुना अधिक गुडपुट दिया। इन वैकल्पिक पूल में हर GPU पर केवल दो या तीन मॉडल को मल्टीप्लेक्स किया जाता था। टोकन स्तर पर काम करके प्रणाली नई प्रतिकृतियां शुरू करने से जुड़े लंबे विरामों से बचती है और किसी भी मॉडल पर अचानक बढ़ी मांग का तेजी से जवाब दे सकती है।

मेमोरी का पुनः उपयोग और KV कैश का समन्वय

Aegaeon घटकों का पुनः उपयोग करके, मेमोरी का स्पष्ट प्रबंधन करके और अलग-अलग मॉडलों के बीच की-वैल्यू कैश का बारीकी से समन्वय करके अतिरिक्त लागत घटाता है। शोधकर्ताओं के अनुसार, इससे सीधे-सादे तरीकों की तुलना में ऑटो-स्केलिंग की अतिरिक्त लागत 97 प्रतिशत कम होती है। बेहतर मेमोरी प्रबंधन और कैश व्यवस्था के साथ एक ही GPU कई मॉडलों को लगातार दोबारा लोड किए बिना चलाने के लिए तैयार रख सकता है। इससे एक एक्सेलेरेटर पर एक साथ सात मॉडल चलाना संभव होता है, जबकि पहले के मल्टी-मॉडल सिस्टम में आम तौर पर यह सीमा दो या तीन मॉडल की थी।

प्रोडक्शन बीटा के मापे गए नतीजे

Alibaba Cloud का कहना है कि उसने अपने मॉडल मार्केटप्लेस में तीन महीने से अधिक समय तक Aegaeon का बीटा परीक्षण किया। इस तैनाती में दर्जनों मॉडल शामिल थे, जिनमें 72 अरब पैरामीटर तक वाले मॉडल भी थे। इस अवधि में, टीम के मुताबिक, समान सेवा-भार संभालने के लिए जरूरी GPU की संख्या 1,192 Nvidia H20 यूनिट से घटकर 213 रह गई, यानी संसाधनों में 82 प्रतिशत की बचत हुई। मॉडलों के बीच स्विच करने से जुड़ी लेटेंसी की अतिरिक्त लागत भी 97 प्रतिशत कम हुई। इससे दिन भर लोकप्रिय और कम इस्तेमाल होने वाले मॉडलों के बीच बदलते वर्कलोड को संभालने में मदद मिलती है।

मार्केटप्लेस वास्तविक दुनिया में एक साथ आने वाले अनुरोधों, अलग-अलग आकार के अनुरोधों और मॉडलों की व्यापक रेंज के कारण कड़े परीक्षण का अच्छा मंच है। इस माहौल में Aegaeon ने एक्सेलेरेटर को अधिक व्यस्त रखा, कम इस्तेमाल होने वाली सेवाओं का निष्क्रिय समय घटाया और अधिक बारीक शेड्यूलिंग के जरिए ज्यादा मांग वाले मॉडलों की प्रतिक्रिया तेज बनाए रखी। प्रति-टोकन शेड्यूलिंग और मेमोरी के सावधानीपूर्वक पुनः उपयोग का मेल प्रति GPU घंटे में अधिक उपयोगी काम हासिल करने की कुंजी दिखता है।

पेकिंग विश्वविद्यालय और Alibaba Cloud की शोध टीम ने कहा कि उद्योग में छिटपुट मांग वाले मॉडलों के लिए GPU समर्पित करके पैसा व्यर्थ किया जा रहा था। उन्होंने शोधपत्र में अपना निष्कर्ष सीधे तौर पर रखा:

बाजार में एक साथ चल रहे LLM वर्कलोड को सेवा देने से जुड़ी अत्यधिक लागत को सामने लाने वाला Aegaeon पहला काम है।

यह दावा मॉडल मार्केटप्लेस में दिखने वाले रुझानों से मेल खाता है। प्रदाता लंबे समय से जानते हैं कि कम मांग वाले मॉडलों की लंबी पूंछ क्षमता को बांधे रखती है और सभी की लागत बढ़ाती है। Aegaeon का तरीका दिखाता है कि मल्टी-मॉडल सेवा के लिए तैयार की गई शेड्यूलिंग और मेमोरी व्यवस्था इस बर्बादी से निपट सकती है।

क्लाउड ग्राहकों और डेवलपरों के लिए इसका क्या मतलब है

ग्राहकों के लिए, प्रति यूनिट थ्रूपुट कम GPU की जरूरत से कीमतें घट सकती हैं, कोटा बेहतर हो सकता है और प्रदर्शन अधिक अनुमानित बन सकता है। अगर कोई क्लाउड लगभग पांचवें हिस्से एक्सेलेरेटर से उतना ही ट्रैफिक संभाल सके, तो वह चरम मांग के लिए क्षमता उपलब्ध करा सकता है और नई तैनाती के लिए प्रतीक्षा समय घटा सकता है। एक ही ऐप में कई मॉडलों को जोड़ने वाले डेवलपरों को भी अलग-अलग एंडपॉइंट पर ट्रैफिक बदलने के दौरान कोल्ड स्टार्ट और प्रतिकृतियों के बार-बार बदलने से पैदा होने वाली कम रुकावटें देखने को मिल सकती हैं।

खरीदारों के लिए कुछ व्यावहारिक चिंताएं भी अहम हैं। मल्टी-मॉडल साझा व्यवस्था में अलगाव बना रहना चाहिए, ताकि एक ग्राहक का वर्कलोड दूसरे के अनुभव को खराब न करे या उसका डेटा उजागर न हो। शेड्यूलर को प्राथमिकता और निष्पक्षता के नियमों का पालन करना होगा, ताकि लोकप्रिय मॉडलों की प्रतिक्रिया तेज रहे और धीमे मॉडलों का काम भी आगे बढ़ता रहे। शोधपत्र के मुताबिक, Aegaeon के प्रति-टोकन फैसले सेवा-गुणवत्ता के लक्ष्यों को ध्यान में रखकर बनाए गए हैं। फिर भी, बड़े पैमाने पर साझा क्षमता बढ़ाते समय लेटेंसी की ऊपरी सीमा पर नियंत्रण रखने के लिए क्लाउड प्रदाताओं को मजबूत निगरानी और थ्रॉटलिंग की जरूरत होगी।

Nvidia, चीन और AI चिप की पृष्ठभूमि

Aegaeon ऐसे समय आया है जब उच्च प्रदर्शन वाले एक्सेलेरेटर की वैश्विक आपूर्ति सीमित है और चीन को उन्नत AI चिप निर्यात करने पर नियंत्रण जारी हैं। Nvidia ने इन नियमों का पालन करने के लिए चीनी बाजार हेतु H20 बनाया था और चीन के कई प्रदाता इन्फरेंस के लिए इसी उपकरण पर निर्भर हैं। साथ ही, Huawei और Cambricon जैसे चीनी डिजाइनर घरेलू विकल्पों में निवेश कर रहे हैं। हर बाजार में ऐसा सॉफ्टवेयर उपयोगी है जो हर GPU से अधिक काम करवा सके, लेकिन जहां सबसे उन्नत चिप तक पहुंच सीमित हो, वहां इसकी अहमियत और बढ़ जाती है।

Nvidia के नेतृत्व ने बताया है कि नीतिगत पाबंदियों के चलते कंपनी का निकट अवधि का वित्तीय अनुमान चीन के उन्नत चिप कारोबार से न्यूनतम या शून्य राजस्व मानकर चलता है। इस पृष्ठभूमि में Alibaba Cloud के नतीजे और अहम हो जाते हैं। अगर बड़े प्रदाता सॉफ्टवेयर के जरिए अपने पहले से स्थापित GPU का अधिकतम इस्तेमाल कर सकें, तो शीर्ष स्तर के एक्सेलेरेटर की आपूर्ति सीमित होने पर भी वे सेवाओं का विस्तार जारी रख सकते हैं।

Aegaeon की तुलना दूसरे तरीकों से

हाल तक, अधिकांश मल्टी-मॉडल सर्विंग सिस्टम अतिरिक्त लागत के फायदे से ज्यादा होने से पहले एक GPU पर केवल दो या तीन मॉडल ही सुरक्षित रूप से मल्टीप्लेक्स कर सकते थे। हर अतिरिक्त मॉडल से संदर्भ बदलने की प्रक्रिया और कैश मिस बढ़ते थे, साथ ही उतार-चढ़ाव का जोखिम भी, जो लेटेंसी के लक्ष्य को बिगाड़ सकता था। Aegaeon का डिजाइन इन बदलावों की लागत घटाने और अलग-अलग मॉडलों के बीच मुख्य डेटा संरचनाओं को मेमोरी में बनाए रखने पर केंद्रित है। यही वजह है कि बताए गए परीक्षणों में एक एक्सेलेरेटर अब सात मॉडलों तक को लगातार चला सकता है।

सबसे अधिक थ्रूपुट वाले एंडपॉइंट या बेहद सख्त अलगाव की जरूरत वाले वर्कलोड के लिए समर्पित इंस्टेंस अब भी सही विकल्प हैं। दूसरी ओर, मांग पर मॉडल की पूरी प्रतिकृति शुरू करने वाला सर्वरलेस इन्फरेंस कम ट्रैफिक वाले मॉडलों के लिए किफायती हो सकता है, लेकिन उसे शुरू होने में अधिक समय लगता है। Aegaeon बीच का रास्ता अपनाता है। यह क्षमता को साझा पूल में रखता है और मॉडलों को तैयार रखता है, फिर काम को छोटे-छोटे समय-खंडों में शेड्यूल करता है, ताकि लेटेंसी की बड़ी कीमत चुकाए बिना कुल उपयोग बढ़े।

खुले तकनीकी सवाल और अगले कदम

बीटा Alibaba Cloud के मॉडल मार्केटप्लेस में चला, जो एक बड़ा परिवेश है, लेकिन कंपनी की पूरी सेवा का दायरा नहीं। Aegaeon को और क्षेत्रों तथा अलग-अलग उत्पाद श्रेणियों, जैसे उद्यमों के समर्पित क्लस्टर या ऑन-प्रिमाइसेस सिस्टम, में लागू करने से अलग बाधाओं के तहत इसके डिजाइन की परीक्षा होगी। एक और सवाल यह है कि संदर्भ की लंबाई बढ़ने और मल्टीमॉडल मॉडल में भाषा के साथ दृश्य तथा ऑडियो जुड़ने पर शेड्यूलर कैसा प्रदर्शन करता है। ऐसी स्थितियां मेमोरी और कैश नीतियों पर नए तरह का दबाव डालेंगी।

विभिन्न प्रकार के एक्सेलेरेटर और कई नोड के बीच संसाधन साझा करने पर भी शोध की गुंजाइश है। अगर शेड्यूलर किसी एक GPU के बजाय नेटवर्क के जरिए जुड़े कई GPU को एक पूल में रख सके, तो अतिरिक्त लाभ मिल सकते हैं, बशर्ते आपस में डेटा भेजने की लागत कम रहे और मेमोरी का स्थान अनुमानित हो। अब तक प्रकाशित साक्ष्य एक GPU पर संसाधन साझा करने से बड़े लाभ दिखाते हैं, जो आज के इन्फरेंस वर्कलोड के लिए अपने आप में एक महत्वपूर्ण व्यावहारिक प्रगति है।

मुख्य तथ्य

• Aegaeon ने Alibaba Cloud के मार्केटप्लेस में सेवा देने के लिए जरूरी GPU की संख्या 1,192 Nvidia H20 यूनिट से घटाकर 213 कर दी, यानी 82 प्रतिशत की कमी।
• तीन महीने से अधिक चले बीटा के दौरान इस प्रणाली ने दर्जनों मॉडल चलाए, जिनमें 72 अरब पैरामीटर तक वाले मॉडल शामिल थे।
• बताए गए परीक्षणों में एक GPU पर सात मॉडल तक चलाए गए, जबकि पहले के सिस्टम में यह संख्या दो या तीन थी।
• प्रति-टोकन शेड्यूलिंग, मेमोरी का पुनः उपयोग और की-वैल्यू कैश का समन्वय करने से ऑटो-स्केलिंग की अतिरिक्त लागत 97 प्रतिशत कम हुई।
• प्रयोगों में अन्य तरीकों की तुलना में अनुरोध आने की 2 से 2.5 गुना अधिक दर लगातार संभाली गई, या 1.5 से 9 गुना अधिक गुडपुट मिला।
• यह तरीका मॉडल मार्केटप्लेस में कम मांग वाले मॉडलों की लंबी पूंछ की समस्या को निशाना बनाता है, जहां अनुरोधों का छोटा हिस्सा GPU के बड़े हिस्से को व्यस्त रखता है।
• ये नतीजे ऐसे समय आए हैं जब निर्यात नियंत्रण चीन में उन्नत AI चिप तक पहुंच सीमित कर रहे हैं और घरेलू GPU प्रयास तेज हो रहे हैं।