DeepSeek OCR एआई की लागत घटाने और संदर्भ क्षमता बढ़ाने के लिए टेक्स्ट को छवियों में संपीड़ित करता है

लंबे दस्तावेज़ों को एआई संदर्भ में समेटने का नया तरीका

DeepSeek ने DeepSeek-OCR जारी किया है। यह एक विज़न-लैंग्वेज सिस्टम है, जो टेक्स्ट के लंबे अंशों को छवियों में बदलकर संपीड़ित करता है और फिर मॉडल की ज़रूरत पड़ने पर उनकी सामग्री दोबारा हासिल करता है। सेटिंग और दस्तावेज़ के प्रकार के आधार पर यह तरीका बड़े भाषा मॉडल को संभालने पड़ने वाले टोकन की संख्या सात से बीस गुना तक घटा देता है, जबकि मध्यम स्तर के संपीड़न पर सटीकता ऊंची बनी रहती है। DeepSeek के मुताबिक, करीब दस गुना संपीड़न पर सिस्टम की डिकोडिंग सटीकता लगभग 97 प्रतिशत रहती है और इससे अधिक अनुपात पर भी उपयोगी नतीजे मिलते हैं। यह परियोजना कोड और मॉडल वेट्स के साथ उपलब्ध है, डेवलपर इसका इस्तेमाल कर सकते हैं और इसका लक्ष्य आधुनिक एआई की सबसे महंगी चुनौतियों में से एक, यानी लंबे संदर्भ को उचित लागत पर संभालना है।

यह सिस्टम दो चरणों में काम करता है। DeepEncoder नाम का विज़न एनकोडर टेक्स्ट वाले पन्नों, तालिकाओं, चार्ट और अन्य लेआउट को विज़न टोकन के एक कॉम्पैक्ट समूह में बदलता है। इसके बाद हल्का भाषा मॉडल DeepSeek3B MoE A570M उन टोकन को फिर से व्यवस्थित टेक्स्ट में डिकोड करता है। यह व्यवस्था ज़रूरत पड़ने पर लेआउट और फॉर्मैटिंग को बनाए रखती है, कई भाषाओं का समर्थन करती है और सादा टेक्स्ट या Markdown तालिकाओं जैसे संरचित नतीजे दे सकती है।

इसका महत्व टोकन से जुड़ा है, जो भाषा मॉडल के पढ़ने और लिखने की बुनियादी इकाइयां हैं। अधिक टोकन का मतलब है ज्यादा मेमोरी का इस्तेमाल और अधिक विलंब, जिससे लागत बढ़ती है। मॉडल एक बार में कितना संदर्भ देख सकते हैं, इसकी भी सख्त सीमाएं होती हैं। संदर्भ को छवियों के रूप में सहेजकर और विज़न टोकन के जरिए दोबारा देखने की सुविधा देकर DeepSeek-OCR लंबे सत्रों और बड़े दस्तावेज़ों के लिए कम लागत वाला मेमोरी स्तर उपलब्ध कराता है। इससे टेक्स्ट के सहारे संभव संदर्भ विंडो की सीमा काफी आगे तक बढ़ सकती है।

बड़े पैमाने पर काम करना इस परियोजना का प्रमुख दावा है। प्रशिक्षण के लिए करीब 100 भाषाओं के लगभग 30 मिलियन PDF पन्नों का इस्तेमाल किया गया, साथ ही चार्ट, सूत्रों और आकृतियों के लिए अतिरिक्त सिंथेटिक डेटा भी जोड़ा गया। संचालन के मोर्चे पर टीम का कहना है कि एक Nvidia A100 GPU प्रतिदिन 200,000 से अधिक पन्नों को प्रोसेस कर सकता है। ऐसे 20 सर्वरों का क्लस्टर प्रतिदिन लगभग 33 मिलियन पन्नों तक पहुंच सकता है। ये आंकड़े दस्तावेज़ों को तेज़ी से डिजिटल बनाने और बड़े पैमाने पर प्रशिक्षण डेटा तैयार करने की संभावनाओं की ओर इशारा करते हैं।

टेक्स्ट को छवियों में बदलने से टोकन कैसे घटते हैं

भाषा मॉडल इनपुट को शब्दों या अक्षरों के बजाय टोकन के रूप में पढ़ते हैं। कोई सामान्य लेख या रिपोर्ट हजारों टोकन में बदल सकती है। अधिकांश ट्रांसफॉर्मर के भीतर मौजूद अटेंशन तंत्र कई टोकन-जोड़े की तुलना करते हैं और अनुक्रम लंबा होने पर यह काम तेज़ी से बढ़ता है। लंबे संदर्भ से मेमोरी और समय की खपत बढ़ती है, जो बड़े पैमाने पर बजट की समस्या बन जाती है।

टोकन और संदर्भ विंडो क्या हैं

टोकन भाषा के वे हिस्से हैं जिन्हें मॉडल समझते हैं। कोई छोटा शब्द एक टोकन हो सकता है, लंबा शब्द कई टोकन में बंट सकता है और विराम चिह्न भी गिने जाते हैं। मॉडल एक बार में जितने अधिकतम टोकन पर विचार कर सकता है, उसे संदर्भ विंडो कहते हैं। वास्तविक दुनिया की कई फाइलें इस सीमा से बड़ी होती हैं, इसलिए उपयोगकर्ता या तो दस्तावेज़ों का कुछ हिस्सा काट देते हैं या लंबा संदर्भ संभालने वाले विशेष मॉडल के लिए अधिक भुगतान करते हैं।

भंडारण के लिए टेक्स्ट के मुकाबले पिक्सेल सस्ते क्यों हो सकते हैं

विज़न एनकोडर छवि को छोटे पैचों के ग्रिड में बदलते हैं और फिर उस ग्रिड को विज़न टोकन के समूह में संपीड़ित करते हैं। DeepSeek का एनकोडर डिकोडर को फीचर भेजने से पहले टोकन की संख्या घटाने के लिए एक संपीड़न ब्लॉक इस्तेमाल करता है। तकनीकी नोट्स में दिए गए उदाहरण के अनुसार, 1,024 गुणा 1,024 पिक्सेल की छवि शुरुआत में 4,096 पैच टोकन से बनती है, जो विज़न-लैंग्वेज सिस्टम में जाने से पहले घटकर 256 संपीड़ित टोकन रह जाते हैं। अगर ये 256 टोकन किसी सघन पन्ने का सार पकड़ लें, जिसके लिए अन्यथा 1,500 या उससे अधिक टेक्स्ट टोकन चाहिए होते, तो बचत तुरंत होती है।

इसका हिसाब सीधा है। लंबे संदर्भ को टेक्स्ट टोकन के रूप में रखने के बजाय सिस्टम संक्षिप्त विज़न टोकन के रूप में उसके स्नैपशॉट सहेजता है और ज़रूरत पड़ने पर अर्थ को दोबारा बनाता है। इससे मेमोरी का बजट नियंत्रण में रहता है, लेआउट और डायग्राम सुरक्षित रखने में मदद मिलती है और टेक्स्ट टोकनाइज़र की कुछ सीमाओं से बचा जा सकता है। इसके बदले एनकोडिंग और डिकोडिंग के अतिरिक्त चरण जोड़ने पड़ते हैं और बहुत ऊंचे संपीड़न अनुपात पर सटीकता धीरे-धीरे घटती है।

मॉडल के भीतर: DeepEncoder और डिकोडर

DeepEncoder दो जानी-पहचानी अवधारणाओं को जोड़ता है: स्थानीय स्तर पर पहचान और समग्र समझ। यह बारीक हिस्सों और किनारों को पहचानने के लिए Segment Anything Model बैकबोन और व्यापक सिमैंटिक लेआउट समझने के लिए CLIP-शैली का मॉड्यूल इस्तेमाल करता है। इनके बीच एक कन्वोल्यूशनल कंप्रेसर है, जो भाषा मॉडल तक भेजने से पहले विज़न टोकन की संख्या काफी घटा देता है। एनकोडर कई रिज़ॉल्यूशन मोड का समर्थन करता है, जिससे उपयोगकर्ता हर पन्ने की जटिलता के अनुसार टोकन बजट तय कर सकते हैं। साधारण स्लाइड में कम टोकन लग सकते हैं, जबकि भरे हुए समाचार पन्नों या सघन वैज्ञानिक आकृतियों के लिए अधिक टोकन चाहिए हो सकते हैं।

डिकोडर तीन अरब पैरामीटर वाले डिज़ाइन पर आधारित Mixture of Experts भाषा मॉडल है, जिसमें प्रति टोकन करीब 570 मिलियन पैरामीटर सक्रिय होते हैं। विशेषज्ञों के बीच रूटिंग से मॉडल हर टोकन के लिए पूरे तीन अरब पैरामीटर इस्तेमाल किए बिना अलग-अलग तरह की सामग्री पर ध्यान दे सकता है। इससे गुणवत्ता ऊंची रखते हुए कंप्यूट की खपत घटती है। सिस्टम सादा टेक्स्ट दे सकता है, Markdown के रूप में संरचना बनाए रख सकता है और तालिकाओं व चार्ट से मशीन के अनुकूल प्रारूपों में डेटा भी निकाल सकता है। यह बहुभाषी OCR का समर्थन करता है और डायग्राम, रासायनिक संरचनाओं तथा ज्यामितीय आकृतियों को समझ सकता है।

कॉन्फ़िगरेशन के प्रीसेट में Tiny, Small, Base और Large के साथ बहुत जटिल पन्नों के लिए Dynamic मोड भी शामिल है। ये प्रीसेट छवि के आकार और टोकन की संख्या के बीच संतुलन बनाते हैं। DeepSeek आम पन्नों के लिए Small से शुरुआत करने और सामग्री सघन या लेआउट चुनौतीपूर्ण होने पर ही बड़े मोड पर जाने की सलाह देता है।

बेंचमार्क और सटीकता के आंकड़े क्या बताते हैं

संपीड़न तभी उपयोगी है, जब डिकोडर टेक्स्ट को उच्च सटीकता के साथ वापस हासिल कर सके। DeepSeek के मुताबिक, दस गुना से कम संपीड़न अनुपात पर डिकोडिंग परीक्षणों में सटीकता लगभग 97 प्रतिशत रहती है। करीब बीस गुना संपीड़न पर यह घटकर लगभग 60 प्रतिशत रह जाती है। टीम ऐसे उदाहरण भी दिखाती है जहां 100 विज़न टोकन उन दस्तावेज़ों का प्रतिनिधित्व करते हैं जिनके लिए 700 से 800 टेक्स्ट टोकन लगते, और एक केंद्रित बेंचमार्क पर सटीकता फिर भी लगभग 97 प्रतिशत रहती है। ये आंकड़े इस दावे से मेल खाते हैं कि मध्यम संपीड़न से बचत और सटीकता का सबसे अच्छा संतुलन मिलता है।

दस्तावेज़ समझने के एक आम परीक्षण OmniDocBench पर मॉडल कम टोकन इस्तेमाल करते हुए जाने-माने OCR सिस्टम से बेहतर प्रदर्शन करता है। दस्तावेज़ की श्रेणी के अनुसार टोकन की ज़रूरत बदलती है। स्लाइड और साधारण ब्रोशर के लिए प्रति पन्ना करीब 64 विज़न टोकन काफी हो सकते हैं। कई कॉलम और छवियों वाली पत्रिकाओं या अखबारों के लिए कई सौ टोकन लग सकते हैं। उपयोगकर्ता की सेटिंग के अनुसार सिस्टम फॉर्मैटिंग बनाए रख सकता है या उसे हटा सकता है।

प्रदर्शन के दावे महत्वाकांक्षी हैं। टीम एक Nvidia A100 कार्ड पर प्रतिदिन 200,000 से अधिक पन्नों और 20-सर्वर क्लस्टर पर लगभग 33 मिलियन पन्नों को प्रोसेस करने का आंकड़ा देती है। प्रशिक्षण और इन्फरेंस कोड के साथ मॉडल वेट्स उदार लाइसेंस के तहत उपलब्ध हैं। यह संयोजन शोध और उत्पादन परिवेशों में तेजी से प्रयोग करने का अवसर देता है।

एआई की लागत, मेमोरी और उत्पाद डिज़ाइन में संभावित बदलाव

कई एआई उत्पादों को बातचीत या दस्तावेज़ों की श्रृंखला लंबी होने पर सीमा का सामना करना पड़ता है। पुराने संदर्भ को विज़न टोकन के रूप में सहेजने से मॉडल को कम लागत वाली मेमोरी परत मिलती है। सिस्टम पुरानी बातचीत को छवियों में संक्षेपित या संपीड़ित कर सकता है और ज़रूरत पड़ने पर ही उसके विवरण डिकोड कर सकता है। इससे सक्रिय टेक्स्ट संदर्भ छोटा रहता है और पहले के चरणों के तथ्य, उद्धरण तथा लेआउट याद रखने की क्षमता भी बनी रहती है। इससे मॉडल जटिल तालिकाओं या गणित वाले पन्नों को बेहतर ढंग से संभाल सकते हैं, जिन्हें पारंपरिक टोकनाइज़र ठीक से प्रोसेस नहीं करते।

उपयोगकर्ताओं के लिए इससे व्यावहारिक काम आसान हो सकते हैं। कोई सहायक पूरे PDF, अनुबंध और स्प्रेडशीट पढ़कर उनकी संक्षिप्त मेमोरी रख सकता है और पूछे जाने पर संरचना सहित सटीक हिस्से वापस ला सकता है। तालिका की पंक्तियां कॉपी करना या किसी आकृति का कैप्शन निकालना आसान हो जाता है, क्योंकि डिकोडर सिर्फ कच्चे अक्षर नहीं, बल्कि संरचना भी दोबारा बनाता है। इससे ऐसे कुशल एंटरप्राइज़ सर्च सिस्टम की संभावना भी दिखती है जो पन्नों के संपीड़ित स्नैपशॉट को इंडेक्स करें और मांग पर अंश डिकोड करें।

डेवलपर और शोधकर्ताओं के लिए प्रोसेसिंग क्षमता अहम है। यह सिस्टम भाषा और विज़न मॉडल के लिए बड़े प्रशिक्षण कॉर्पस तैयार कर सकता है और प्रति GPU प्रतिदिन लाखों पन्ने नहीं, बल्कि सैकड़ों हजार पन्ने तैयार करता है। यह रफ्तार कम लागत पर पर्यवेक्षित डेटा बनाने में मदद करती है। वित्त, स्वास्थ्य सेवा और विज्ञान जैसे चार्ट व फॉर्म पर निर्भर उद्योगों में संरचना बेहतर ढंग से सुरक्षित रखते हुए डिजिटलीकरण की प्रक्रिया तेज़ हो सकती है। हालांकि, संपीड़ित आउटपुट को आगे के प्रशिक्षण में इस्तेमाल करते समय सावधानी जरूरी है, क्योंकि छोटी डिकोडिंग त्रुटियां बड़े पैमाने पर शोरयुक्त लेबल बन सकती हैं।

सीमाएं, जोखिम और अनुत्तरित सवाल

अधिक संपीड़न से टोकन बजट घटता है, लेकिन सटीकता कम होती है। करीब बीस गुना संपीड़न पर रिपोर्ट की गई सटीकता लगभग 60 प्रतिशत तक गिर जाती है। कई कामों में छोटी गलतियां स्वीकार्य होती हैं। लेकिन नाम, संख्या और कानूनी धाराओं जैसे मामलों में लगभग पूरी सटीकता जरूरी है। उपयोगकर्ताओं को ऐसी नीतियां बनानी होंगी जिनमें महत्वपूर्ण पन्नों के लिए कम संपीड़न मोड चुना जाए और अधिक संपीड़न का इस्तेमाल केवल ऐसे संदर्भ के लिए हो जिसे हूबहू दोहराना जरूरी न हो।

तर्क करने की क्षमता से जुड़ा सवाल भी है। मॉडल टेक्स्ट टोकन पर अच्छी तरह तर्क करते हैं, क्योंकि उन्हें इसी तरह प्रशिक्षित किया गया है। विज़न टोकन में अलग तरह के अंतर्निहित पूर्वाग्रह होते हैं। डिकोडर को पहले टेक्स्ट दोबारा बनाना होता है और फिर उस पर तर्क करना पड़ता है। यह अतिरिक्त चरण उन कामों को प्रभावित कर सकता है जो विचारों की लंबी श्रृंखला पर निर्भर करते हैं। टीमों को तब बहु-चरणीय तर्क का परीक्षण करना होगा, जब महत्वपूर्ण संदर्भ छवि परत के पीछे हो, और अत्यधिक सटीकता वाले कामों के लिए वैकल्पिक तरीके भी रखने होंगे।

विलंब और बुनियादी ढांचे की योजना अब भी अहम हैं। एनकोडिंग और डिकोडिंग के अतिरिक्त चरण काम बढ़ाते हैं। बचत तब दिखती है जब दस्तावेज़ बड़े हों या बातचीत लंबी हो। तैनाती से पहले कई तरह के दस्तावेज़ों पर वास्तविक समय, मेमोरी और लागत का बेंचमार्क करना चाहिए, ताकि तय हो सके कि कब संपीड़न करना है और कब कच्चा टेक्स्ट देना है। भंडारण प्रारूप भी बदलते हैं। कच्ची टेक्स्ट फाइलों की जगह छवियां या छवियों जैसे टेंसर आते हैं, जिससे सूचना खोजने वाले सिस्टम और अनुपालन प्रक्रियाएं प्रभावित हो सकती हैं।

गोपनीयता और सुरक्षा पर भी ध्यान देना जरूरी है। संवेदनशील फाइलों को छवियों या विज़न टोकन में संपीड़ित करने से जोखिम खत्म नहीं होता। संपीड़ित संग्रह पर भी पहुंच नियंत्रण, एन्क्रिप्शन और ऑडिट ट्रेल लागू होने चाहिए। कम रिज़ॉल्यूशन वाले स्कैन या अस्पष्ट हस्तलिपि वाले दस्तावेज़ अब भी मॉडल के लिए चुनौती हो सकते हैं। महत्वपूर्ण कार्यप्रवाहों में Dynamic मोड का चयन और इंसानी समीक्षा समझदारी भरे कदम हैं।

DeepSeek OCR को आज़माने का तरीका

Hugging Face पर परियोजना के पेज में मॉडल कार्ड, जल्दी शुरू करने के निर्देश और डाउनलोड उपलब्ध हैं। कोड और वेट्स GitHub पर भी ऐसे उदार लाइसेंस के साथ हैं, जो अकादमिक और व्यावसायिक, दोनों तरह के इस्तेमाल की अनुमति देता है। डेवलपर यहां से शुरुआत कर सकते हैं: Hugging Face मॉडल पेज और यहां से: GitHub रिपॉजिटरी।

रेफरेंस सेटअप में Python 3.12.9 और CUDA 11.8 के साथ PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict और Flash Attention जैसी निर्भरताएं शामिल हैं। तेज़ी के लिए Nvidia GPU की सलाह दी गई है। प्रीसेट मोड उपयोगकर्ताओं को बारीकी और लागत के बीच संतुलन बनाने देते हैं। सामान्य कारोबारी दस्तावेज़ों के लिए Small मोड एक उचित शुरुआती विकल्प है। सघन वैज्ञानिक या कानूनी पन्नों के लिए अधिक रिज़ॉल्यूशन या Dynamic मोड बेहतर हो सकता है।

एक सामान्य कार्यप्रवाह में PDF को पन्नों की छवियों में बदला जाता है, चुने गए रिज़ॉल्यूशन के साथ हर पन्ने को DeepEncoder में दिया जाता है और फिर भाषा मॉडल से प्राप्त विज़न टोकन डिकोड किए जाते हैं। खोज के लिए आउटपुट सादा टेक्स्ट हो सकता है या तालिकाओं और सेक्शन हेडर को सुरक्षित रखने वाला Markdown। GitHub रिपॉजिटरी में बैच प्रोसेसिंग की स्क्रिप्ट और अधिक पन्ने प्रोसेस करने के सुझाव शामिल हैं। संपीड़न अनुपात बढ़ाते समय टीमों को सटीकता पर नजर रखनी चाहिए और महत्वपूर्ण पन्नों के लिए संयमित सेटिंग रखनी चाहिए।

मुख्य बातें

• DeepSeek-OCR लंबे टेक्स्ट को छवियों के रूप में सहेजकर संपीड़ित करता है और फिर डिकोडर की मदद से मांग पर सामग्री वापस हासिल करता है।
• सेटिंग और दस्तावेज़ की जटिलता के आधार पर टोकन का इस्तेमाल लगभग सात से बीस गुना तक घटता है।
• रिपोर्ट की गई डिकोडिंग सटीकता करीब दस गुना संपीड़न पर लगभग 97 प्रतिशत और करीब बीस गुना संपीड़न पर लगभग 60 प्रतिशत है।
• इस संरचना में DeepEncoder के साथ Mixture of Experts डिकोडर है, जो प्रति टोकन लगभग 570 मिलियन पैरामीटर सक्रिय करता है।
• मोड Tiny से Large तक हैं। बहुत जटिल पन्नों के लिए Dynamic विकल्प भी है, जिससे उपयोगकर्ता टोकन बजट तय कर सकते हैं।
• बेंचमार्क में कम टोकन इस्तेमाल करते हुए OmniDocBench पर लोकप्रिय OCR आधार प्रणालियों के मुकाबले मजबूत नतीजे दिखते हैं।
• प्रोसेसिंग क्षमता के दावों में एक Nvidia A100 GPU पर प्रतिदिन 200,000 से अधिक पन्ने और 20-सर्वर क्लस्टर पर प्रतिदिन लगभग 33 मिलियन पन्ने शामिल हैं।
• संरचित आउटपुट में Markdown तालिकाएं और चार्ट डेटा शामिल हैं। सिस्टम डायग्राम, सूत्रों और कई भाषाओं का भी समर्थन करता है।
• ओपन-सोर्स कोड और वेट्स उदार लाइसेंस के तहत Hugging Face और GitHub पर उपलब्ध हैं।
• इसके बेहतर उपयोगों में लंबे संदर्भ के लिए कम लागत वाली मेमोरी, बड़े पैमाने पर दस्तावेज़ों का डिजिटलीकरण और प्रशिक्षण डेटा तैयार करना शामिल है। अत्यधिक सटीकता वाले कामों के लिए सावधानी से सेटिंग चुननी चाहिए।