चित्रण: tuput
हिन्दी
दो शोधपत्रों ने वे नियम तय किए जिनसे प्रयोगशालाएँ यह तय करती थीं कि भाषा मॉडल कितना बड़ा बनाया जाए। 2020 के ओपनएआई शोधपत्र ने बड़े मॉडल का पक्ष लिया, 2022 के डीपमाइंड शोधपत्र ने मॉडल और डेटा के बराबर बढ़ने का, और बाद के डीपसीक, मेटा, एपोक एआई और 2026 की अंतरराष्ट्रीय एआई सुरक्षा रिपोर्ट के काम ने दोनों को परिष्कृत किया है।
डीपमाइंड ने एक ही प्रशिक्षण कंप्यूट पर दो भाषा मॉडल बनाए, और छोटा जीत गया। गोफ़र के 280 अरब पैरामीटर थे, यानी न्यूरल नेटवर्क के भीतर के समायोज्य अंक, और उसने 300 अरब टोकन पढ़े, यानी पाठ के वे छोटे टुकड़े जिनसे मॉडल सीखता है। चिंचिला के 70 अरब पैरामीटर थे और उसने 1.4 खरब टोकन पढ़े। डीपमाइंड का शोधपत्र, जो 29 मार्च 2022 को arXiv पर डाला गया, बताता है कि चिंचिला ने गोफ़र को लगभग हर उस कार्य में हराया जो उसने मापा, जिसमें MMLU सामान्य-ज्ञान जाँच भी है, जहाँ उसे 67.5 प्रतिशत मिले (शोधपत्र की तालिका में 67.6), जबकि गोफ़र को 60.0।
यह नतीजा मॉडल को बनाने से पहले उसकी गुणवत्ता का अनुमान लगाने के एक तरीक़े से आया, जिसे स्केलिंग लॉ कहते हैं: एक फ़िट किया हुआ वक्र जो मॉडल की त्रुटि को उसके आकार, उसके प्रशिक्षण डेटा और ख़र्च हुई कंप्यूटिंग शक्ति से जोड़ता है। यह लेख उन दो शोधपत्रों के पीछे चलता है जिन्होंने शर्तें तय कीं, ओपनएआई का 23 जनवरी 2020 का और डीपमाइंड का 29 मार्च 2022 का, और फिर उस बाद के काम के पीछे जिसने उन्हें समायोजित किया: जनवरी 2024 में डीपसीक, अप्रैल 2024 में एक बाहरी दोहराव का प्रयास, जुलाई 2024 में मेटा का लामा 3 और 3 फ़रवरी 2026 की अंतरराष्ट्रीय एआई सुरक्षा रिपोर्ट। मॉडल असल में कैसे प्रशिक्षित होता है, इसके लिए हमारा चरण-दर-चरण विवरण देखें।
2020 के शोधपत्र ने क्या मापा
ओपनएआई और जॉन्स हॉपकिन्स विश्वविद्यालय के जेरेड कैप्लन, सैम मैक्कैंडलिश और आठ सह-लेखकों ने कई आकारों के ट्रांसफ़ॉर्मर भाषा मॉडल प्रशिक्षित किए और उनका क्रॉस-एंट्रॉपी लॉस दर्ज किया, जो बताता है कि मॉडल अगला टोकन कितनी बुरी तरह भाँपता है, और जहाँ कम बेहतर है। सार कहता है कि लॉस मॉडल के आकार, डेटासेट के आकार और प्रशिक्षण कंप्यूट के साथ पावर लॉ से घटता है, और कुछ रुझान सात से ज़्यादा परिमाण-क्रमों तक फैले हैं। पावर लॉ लघुगणकीय अक्षों वाले चार्ट पर सीधी रेखा होती है: किसी भी निवेश में दस गुना बढ़ोतरी लॉस में एक स्थिर, पूर्वानुमेय गिरावट देती है।
दो और निष्कर्षों ने तय किया कि प्रयोगशालाओं ने आगे क्या किया। नेटवर्क कितना गहरा या चौड़ा है जैसे वास्तुशिल्प के ब्योरों का एक चौड़े दायरे में बहुत कम असर पड़ा, इसलिए मायने पैमाने के थे। और तय कंप्यूट बजट के लिए शोधपत्र कहता है कि सबसे अच्छा नतीजा बहुत बड़े मॉडलों को अपेक्षाकृत कम डेटा पर प्रशिक्षित करने और अभिसरण से काफ़ी पहले रुक जाने से मिलता है, अभिसरण वह बिंदु है जिसके बाद और प्रशिक्षण से फ़ायदा होना बंद हो जाता है। उसके फ़िट किए घातांक मॉडल का आकार कंप्यूट के 0.73 घात के साथ और डेटा कंप्यूट के 0.27 घात के साथ बढ़ता दिखाते हैं। डीपमाइंड का बाद का शोधपत्र इसे यूँ पढ़ता है: 10 गुना ज़्यादा कंप्यूट मिले तो मॉडल 5.5 गुना बढ़ना चाहिए और प्रशिक्षण टोकन केवल 1.8 गुना।
कैप्लन का शोधपत्र अपनी सीमाओं पर साफ़ है। उसका परिशिष्ट कहता है कि “हमें इन नियमों की ठोस सैद्धांतिक समझ नहीं है”, और उसके बिना यह जानना कठिन है कि इन पर कब भरोसा किया जा सकता है। डीपमाइंड के लेखक ध्यान दिलाते हैं कि इसी सलाह पर चलते हुए उस दौर के ज़्यादातर बड़े मॉडल, जीपीटी-3 समेत, लगभग 300 अरब टोकन पर प्रशिक्षित हुए थे।
बड़ी कड़ाही या ज़्यादा सामग्री
एक रसोई की उपमा काम आती है। प्रशिक्षण की लागत मोटे तौर पर पैरामीटरों की संख्या गुणा टोकनों की संख्या का छह गुना होती है, जो अनुमान कैप्लन और डीपसीक दोनों के शोधपत्र इस्तेमाल करते हैं। पैरामीटरों को कड़ाही का आकार समझिए और टोकनों को सामग्री की मात्रा, पकाने के घंटे तय रखकर। कड़ाही दोगुनी बड़ी चुन लें तो तय घंटों में आप उसे आधा ही भर पाएँगे। स्केलिंग लॉ यह बताता है कि सबसे कम लॉस पाने के लिए तय बजट को कड़ाही और सामग्री के बीच कैसे बाँटा जाए। उसी उत्तर को “कंप्यूट-ऑप्टिमल” कहते हैं।
कैप्लन का फ़िट कड़ाही की ओर झुका था। डीपमाइंड का फ़िट दोनों को बराबर रखने की ओर।
2022 की परीक्षा: 400 प्रशिक्षण रन और एक मॉडल
जॉर्डन हॉफ़मैन, लॉरेंट सिफ़्रे और उनके डीपमाइंड सहयोगियों ने 400 से ज़्यादा मॉडल प्रशिक्षित किए, 7 करोड़ से कम से लेकर 16 अरब से ज़्यादा पैरामीटर तक, हर एक को डेटा की कई मात्राओं पर। उन्होंने सबसे अच्छा बँटवारा तीन तरह से आँका: प्रशिक्षण वक्रों में सबसे कम लॉस को ट्रैक करके, तय कंप्यूट बजटों पर वक्र फ़िट करके (जिन्हें IsoFLOP प्रोफ़ाइल कहते हैं), और लॉस पर सीधे एक सूत्र फ़िट करके। तीनों क़रीब-क़रीब एकमत रहे। मॉडल के आकार का घातांक 0.50, 0.49 और 0.46 आया, और डेटा का 0.50, 0.51 और 0.54, जबकि कैप्लन के 0.73 और 0.27 थे। शोधपत्र का सार यह है कि मॉडल के आकार के हर दोगुना होने पर प्रशिक्षण टोकन भी दोगुने होने चाहिए।
गोफ़र को प्रशिक्षित करने वाले कंप्यूट के लिए, जिसे शोधपत्र 5.76 x 10^23 संक्रियाएँ बताता है, अनुमान यह था कि मॉडल चार गुना छोटा हो और चार गुना ज़्यादा टोकन पर प्रशिक्षित हो। चिंचिला ने इसे परखा। शोधपत्र के अपने आँकड़ों को भाग देने पर चिंचिला के लिए प्रति पैरामीटर लगभग 20 टोकन आते हैं, जबकि जीपीटी-3 के लिए लगभग 1.7 (175 अरब पैरामीटर पर 300 अरब टोकन) और गोफ़र के लिए 1.1। शोधपत्र के अनुमान से जीपीटी-3 जैसे 175 अरब पैरामीटर वाले मॉडल को सबसे अच्छी तरह 4.41 x 10^24 संक्रियाओं के साथ 4.2 खरब से ज़्यादा टोकन पर प्रशिक्षित किया जाना चाहिए।
एक संख्या पर सावधानी चाहिए। 12 अप्रैल 2022 की डीपमाइंड ब्लॉग पोस्ट कहती है कि चिंचिला 1.3 खरब टोकन पर प्रशिक्षित हुआ, जबकि शोधपत्र अपने पाठ और पहली तालिका में 1.4 खरब कहता है। यह लेख शोधपत्र का आँकड़ा इस्तेमाल करता है, और एपोक एआई का शोधपत्र-सारांश भी वही आँकड़ा देता है।
डीपमाइंड की अपनी जाँचें यह भी दिखाती हैं कि कंप्यूट-ऑप्टिमल होने का मतलब सबसे अच्छा होना नहीं है। ब्लॉग पोस्ट ध्यान दिलाती है कि गूगल के पाम ने, जिसके 540 अरब पैरामीटर और 768 अरब टोकन थे, चिंचिला से लगभग पाँच गुना कंप्यूट इस्तेमाल किया और कई कार्यों में उससे बेहतर रहा। लेखकों की विधि का अनुमान है कि पाम के बजट पर 140 अरब पैरामीटर वाला मॉडल 3 खरब टोकन पर इष्टतम चुनाव होता।
लेखक अपनी सीमाएँ ख़ुद गिनाते हैं। उनके पास केवल दो तुलनीय बड़े पैमाने के रन हैं, चिंचिला और गोफ़र, और बीच के आकारों पर कोई नहीं। वे पावर-लॉ सीमा मानते हैं जबकि ऊँचे कंप्यूट पर कुछ वक्रता देखते हैं, जिसके बारे में उनका कहना है कि वह संकेत देती है कि सबसे बड़े मॉडलों का इष्टतम आकार अब भी ज़रूरत से ज़्यादा आँका जा रहा हो सकता है। हर रन ने अपने डेटा पर एक बार से कम पास किया।
बन जाने के बाद छोटा मॉडल क्या बचाता है
चिंचिला का सार एक दूसरा फ़ायदा जोड़ता है: छोटा होने के कारण उसे फ़ाइन-ट्यूनिंग और इन्फ़रेंस के लिए, यानी प्रशिक्षण के बाद उपयोगकर्ताओं को उत्तर देने के काम के लिए, काफ़ी कम कंप्यूट चाहिए। किसी लोकप्रिय मॉडल को प्रशिक्षित करने की तुलना में उससे कहीं ज़्यादा बार सवाल पूछे जाते हैं, इसलिए उसकी चलाने की लागत प्रयोगशाला के बिल में जुड़ती जाती है, और छोटा मॉडल वह भी होता है जो फ़ोन में समा सके।
मेटा का लामा 3 शोधपत्र दिखाता है कि प्रयोगशालाओं ने इस बात का कैसे इस्तेमाल किया है। उसकी टीम ने अपना स्केलिंग लॉ फ़िट किया, जैसा हमारे प्रशिक्षण विवरण में बताया गया है, और कहती है कि उसका 405 अरब पैरामीटर का फ़्लैगशिप अपने बजट के लिए लगभग कंप्यूट-ऑप्टिमल आकार का है। फिर मेटा जोड़ता है कि उसने अपने छोटे मॉडलों को कंप्यूट-ऑप्टिमल से कहीं ज़्यादा देर तक प्रशिक्षित किया, और नतीजा उसी इन्फ़रेंस बजट पर कंप्यूट-ऑप्टिमल मॉडलों से बेहतर प्रदर्शन करता है। दोहराव के काम का एपोक एआई का सारांश भी यही सामान्य बात कहता है: इन्फ़रेंस की लागत घटाने के लिए आम तौर पर बेहतर है कि कंप्यूट-ऑप्टिमल मात्रा से ज़्यादा देर प्रशिक्षित किया हुआ छोटा मॉडल लिया जाए, कम से कम प्री-ट्रेनिंग कंप्यूट की हद तक। यानी “कंप्यूट-ऑप्टिमल” केवल प्रशिक्षण के बिल के बारे में एक सवाल का जवाब देता है।
डेटा पर डीपसीक की जनवरी 2024 की जाँच
डीपसीक-एआई का 5 जनवरी 2024 का शोधपत्र दोनों पहले के शोधपत्रों की असहमति से शुरू होता है, जिनके बारे में वह कहता है कि उन्होंने अलग-अलग निष्कर्ष दिखाए और इस पर संदेह खड़ा किया कि ये नियम कितने व्यापक रूप से लागू होते हैं। उसने IsoFLOP विधि से वक्र दोबारा फ़िट किए और मॉडल के आकार के माप के रूप में पैरामीटर संख्या की जगह प्रति टोकन नॉन-एम्बेडिंग FLOPs लिए, जो हर टोकन की कंप्यूट लागत का माप है।
उसकी तालिका 4 तीन डेटासेटों पर मॉडल-आकार का घातांक देती है। ओपनएआई वाली पंक्ति के लिए, जो कैप्लन का आँकड़ा है, वह 0.73 है; डीपमाइंड के MassiveText पर 0.49; डीपसीक के शुरुआती डेटा पर 0.450, उसके मौजूदा डेटा पर 0.524, और OpenWebText2 के फिर से फ़िट पर 0.578। शोधपत्र का पाठ यह है कि डेटा जितना बेहतर हो, किसी भी अतिरिक्त कंप्यूट का उतना ज़्यादा हिस्सा बड़े मॉडल को जाना चाहिए, और गुणवत्ता बँटवारे को बदल देती है। यह डीपसीक का अपने डेटासेटों पर अपना निष्कर्ष है। कंपनी का कहना है कि फ़िट किए गए नियमों ने उसके 7 अरब और 67 अरब पैरामीटर वाले मॉडलों का प्रदर्शन पहले बता दिया, दोनों 2 खरब टोकन पर प्रशिक्षित, जो बड़े वाले के लिए प्रति पैरामीटर लगभग 30 टोकन बैठता है।
एक दोहराव का प्रयास, और उसमें क्या मिला
अप्रैल 2024 में एआई के रुझानों पर नज़र रखने वाले शोध समूह एपोक एआई के तमे बेसिरोग्लु, एगे एर्डिल, मैथ्यू बार्नेट और जोश यू ने डीपमाइंड की तीसरी विधि, यानी फ़िट किए सूत्र, को दोहराने का प्रयास डाला। उन्होंने शोधपत्र के प्लॉटों से डेटा का एक हिस्सा दोबारा बनाया और वही सूत्र फ़िट किया।
वे बताते हैं कि प्रकाशित पैरामीटर अनुमान उस दोबारा बने डेटा पर ख़राब बैठते हैं। वे बताते हैं कि प्रकाशित विश्वास अंतराल अविश्वसनीय रूप से संकरे हैं, इतने संकरे कि उनके सार के अनुसार 6,00,000 से ज़्यादा प्रयोग चाहिए होते जबकि डीपमाइंड ने संभवतः 500 से कम चलाए। और वे बताते हैं कि प्रकाशित रूप में सूत्र प्रति पैरामीटर लगभग 70 टोकन का संकेत देता है, जो डीपमाइंड की अपनी विधियों और चिंचिला को प्रशिक्षित करने में इस्तेमाल हुए प्रति पैरामीटर 20 टोकन से मेल नहीं खाता। उनका दोबारा फ़िट लगभग 20 देता है, जो शोधपत्र की बाक़ी दोनों विधियों के अनुरूप है। वे इस अंतर का कारण ऑप्टिमाइज़र के अभिसरण से पहले रुक जाने और प्रकाशित संख्याओं के पूर्णांकन को बताते हैं।
इससे निष्कर्ष उससे संकरा हो जाता है जितना कोई सुर्ख़ी बताए। एक दोहराव के प्रयास ने तीसरी विधि की प्रकाशित संख्याओं में समस्याएँ पाईं और उसके बराबर-स्केलिंग वाले नतीजे को पहली दो विधियों के अनुरूप पाया। यह दोबारा बने डेटा पर टिका एक बाहरी प्रीप्रिंट है, अंतिम शब्द नहीं, और एपोक का कहना है कि प्रकाशित फ़िट पर टिके पहले के काम को शायद संशोधित करना पड़े।
2026 की रिपोर्ट क्या कहती है, और एक सर्वम उदाहरण
अंतरराष्ट्रीय एआई सुरक्षा रिपोर्ट 2026, जो 3 फ़रवरी 2026 को योशुआ बेंजियो के नेतृत्व में 30 से ज़्यादा देशों और अंतरराष्ट्रीय संगठनों के समर्थन से प्रकाशित हुई, स्केलिंग लॉज़ को मॉडल के आकार, कंप्यूट और प्रदर्शन के बीच ऐसे पूर्वानुमेय संबंध बताती है जो मॉडल के आकार के छह परिमाण-क्रमों में टिके रहे हैं। वह यह भी कहती है कि वे देखे गए व्यवहार से निकाली गई अनुभवजन्य नियमितताएँ हैं जो अब तक देखे गए कंप्यूट या डेटा से आगे टूट सकती हैं, और जनवरी 2025 से क्षमता में बढ़ोतरी अकेले मॉडल के आकार से नहीं, बल्कि बढ़ते हुए पोस्ट-ट्रेनिंग से और इस्तेमाल के समय के अतिरिक्त कंप्यूट से आई है।
सर्वम एआई की 6 मार्च 2026 की पोस्ट एक मौजूदा भारतीय आँकड़ा देती है। वह बताती है कि सर्वम 30B 16 खरब टोकन पर और सर्वम 105B 12 खरब टोकन पर प्रशिक्षित हुए, दोनों इंडियाएआई मिशन के कंप्यूट पर (देखें मिशन के जीपीयू और मॉडलों पर हमारी रिपोर्ट)। सीधे भाग देने पर यह 30B के लिए प्रति पैरामीटर लगभग 530 टोकन और 105B के लिए लगभग 114 बैठता है, जो चिंचिला के 20 से कहीं ऊपर है। तुलना में एक पेच है, क्योंकि दोनों मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल हैं, जो हर टोकन के लिए अपने पैरामीटरों का केवल एक हिस्सा सक्रिय करते हैं, और पोस्ट 30B के लिए 2.4 अरब सक्रिय पैरामीटर बताती है। चिंचिला की अपनी तुलना सघन मॉडलों के बीच थी, जहाँ हर टोकन के लिए हर पैरामीटर इस्तेमाल होता है, और 2022 का शोधपत्र मिक्सचर-ऑफ़-एक्सपर्ट्स डिज़ाइनों की चर्चा केवल दूसरों के काम के रूप में करता है। सर्वम की पोस्ट टोकन संख्याएँ गिनाती है और उनके पीछे किसी कंप्यूट-ऑप्टिमल गणना का वर्णन नहीं करती।
स्रोत और आगे पढ़ने के लिए
- Kaplan et al., OpenAI and Johns Hopkins University: Scaling Laws for Neural Language Models (arXiv:2001.08361, 23 January 2020)
- Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
- Google DeepMind: An empirical analysis of compute-optimal large language model training (blog post, 12 April 2022)
- Besiroglu, Erdil, Barnett and You, Epoch AI: Chinchilla Scaling, a replication attempt (arXiv:2404.10102, April 2024)
- Epoch AI: Chinchilla scaling, a replication attempt (summary page, 17 April 2024)
- DeepSeek-AI: DeepSeek LLM, Scaling Open-Source Language Models with Longtermism (arXiv:2401.02954, 5 January 2024)
- Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, July 2024)
- International AI Safety Report 2026 (published 3 February 2026)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।
अच्छा लगा? अगला लेख पाएँ।
एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।