चित्रण: tuput
मराठी
भाषा मॉडेल किती मोठे बांधायचे हे ठरवण्यासाठी प्रयोगशाळा वापरत असलेले नियम दोन शोधनिबंधांनी ठरवले. २०२० चा OpenAI शोधनिबंध मोठ्या मॉडेलांच्या बाजूचा होता, २०२२ चा DeepMind शोधनिबंध मॉडेल आणि डेटा यांच्या समान वाढीच्या बाजूचा होता, आणि DeepSeek, Meta, Epoch AI आणि २०२६ चा आंतरराष्ट्रीय AI सुरक्षा अहवाल यांच्या नंतरच्या कामाने दोन्हींत सुधारणा केली.
DeepMind ने त्याच प्रशिक्षण संगणन क्षमतेवर दोन भाषा मॉडेल बनवली, आणि लहानाने बाजी मारली. Gopher मध्ये २८० अब्ज पॅरामीटर होते, म्हणजे न्यूरल नेटवर्कच्या आतील बदलता येणाऱ्या संख्या, आणि त्याने ३०० अब्ज टोकन वाचले, म्हणजे मॉडेल ज्यातून शिकते त्या मजकुराचे थोड्या अक्षरांचे तुकडे. Chinchilla मध्ये ७० अब्ज पॅरामीटर होते आणि त्याने १.४ ट्रिलियन टोकन वाचले. २९ मार्च २०२२ रोजी arXiv वर टाकलेला DeepMind चा शोधनिबंध नोंदवतो की Chinchilla ने मोजलेल्या जवळजवळ प्रत्येक कामात Gopher ला मागे टाकले, MMLU सामान्य ज्ञान चाचणीसह, जिथे त्याला ६७.५ टक्के (शोधनिबंधाच्या तक्त्यात ६७.६) मिळाले, तर Gopher ला ६०.० मिळाले.
हा निकाल एका अशा पद्धतीतून आला जी मॉडेल बनवण्याआधीच त्याच्या गुणवत्तेचा अंदाज देते, तिला स्केलिंग नियम म्हणतात: मॉडेलची त्रुटी, त्याचा आकार, त्याचा प्रशिक्षण डेटा आणि खर्च झालेली संगणन शक्ती यांना जोडणारा बसवलेला वक्र. हा लेख अटी ठरवणाऱ्या दोन शोधनिबंधांचा मागोवा घेतो, OpenAI चा २३ जानेवारी २०२० चा आणि DeepMind चा २९ मार्च २०२२ चा, आणि मग त्यांत बदल करणाऱ्या नंतरच्या कामाचा: जानेवारी २०२४ मधील DeepSeek, एप्रिल २०२४ मधील बाहेरच्यांचा पुनरावृत्ती प्रयत्न, जुलै २०२४ मधील Meta चे Llama 3 आणि ३ फेब्रुवारी २०२६ चा आंतरराष्ट्रीय AI सुरक्षा अहवाल. मॉडेल प्रत्यक्षात कसे प्रशिक्षित होते, यासाठी आमचे टप्प्याटप्प्याचे स्पष्टीकरण पाहा.
२०२० चा शोधनिबंध काय मोजतो
OpenAI आणि जॉन्स हॉपकिन्स विद्यापीठातील जॅरेड कॅप्लन, सॅम मॅककँडलिश आणि आठ सहलेखकांनी अनेक आकारांची Transformer भाषा मॉडेल प्रशिक्षित केली आणि त्यांचे क्रॉस-एन्ट्रॉपी लॉस नोंदवले, म्हणजे मॉडेल पुढचे टोकन किती वाईट वर्तवते याचा गुण, ज्यात कमी म्हणजे चांगले. सारांश म्हणतो की लॉस मॉडेलचा आकार, डेटासंचाचा आकार आणि प्रशिक्षण संगणन यांच्यासह पॉवर लॉनुसार घटतो, काही कल सात पेक्षा जास्त दशकांमध्ये पसरलेले आहेत. पॉवर लॉ म्हणजे लॉगॅरिदमिक अक्ष असलेल्या आलेखावरील सरळ रेषा: कोणत्याही निवेशात दहापट वाढ केली की लॉसमध्ये स्थिर, वर्तवता येणारी घट मिळते.
इतर दोन निष्कर्षांनी पुढे प्रयोगशाळांनी काय केले ते घडवले. नेटवर्क किती खोल किंवा रुंद आहे यांसारख्या रचनेच्या तपशीलांचा विस्तृत मर्यादेत किमान परिणाम होता, त्यामुळे महत्त्वाचा होता तो प्रमाण. आणि ठरलेल्या संगणन अंदाजपत्रकासाठी, शोधनिबंध म्हणतो की सर्वोत्तम निकाल अतिशय मोठी मॉडेल तुलनेने कमी डेटावर प्रशिक्षित करून आणि अभिसरणाच्या, म्हणजे अधिक प्रशिक्षण मदत करणे थांबवते त्या बिंदूच्या, बऱ्याच आधी थांबवून मिळतो. त्याचे बसवलेले घातांक सांगतात की मॉडेलचा आकार संगणनाच्या ०.७३ घाताने वाढतो आणि डेटा संगणनाच्या ०.२७ घाताने. DeepMind चा नंतरचा शोधनिबंध हे असे वाचतो: १० पट जास्त संगणन मिळाले तर मॉडेल ५.५ पट वाढावे आणि प्रशिक्षण टोकन फक्त १.८ पट.
Kaplan शोधनिबंध आपल्या मर्यादांबद्दल स्पष्ट आहे. त्याच्या परिशिष्टात म्हटले आहे की “आम्हाला या नियमांची भक्कम सैद्धांतिक समज नाही”, आणि ती नसताना ते कधी विश्वासार्ह आहेत हे जाणणे अवघड आहे. DeepMind चे लेखक नमूद करतात की या सल्ल्याचे पालन करून, तेव्हाची बहुतेक मोठी मॉडेल, त्यात GPT-3 सुद्धा, सुमारे ३०० अब्ज टोकनवर प्रशिक्षित झाली.
मोठे भांडे की जास्त साहित्य
स्वयंपाकघरातील उपमा उपयोगी पडते. प्रशिक्षणाचा खर्च साधारण पॅरामीटरच्या संख्येचा सहा पट गुणिले टोकनची संख्या असतो, हे अंदाजसूत्र Kaplan आणि DeepSeek दोघांचे शोधनिबंध वापरतात. पॅरामीटर म्हणजे भांड्याचा आकार आणि टोकन म्हणजे साहित्याचे प्रमाण, शिजवण्याचे तास ठरलेले, असे समजा. भांडे दुप्पट मोठे निवडले आणि तास ठरलेले असले, तर तुम्ही ते फक्त निम्मे भरू शकता. ठरलेले अंदाजपत्रक भांडे आणि साहित्य यांत कसे वाटायचे की लॉस सर्वात कमी येईल, याचे उत्तर स्केलिंग नियम देतो. त्या उत्तराला “compute-optimal” म्हणतात.
Kaplan यांचा बसवलेला वक्र भांड्याकडे झुकला. DeepMind चा दोन्हींच्या जुळणीकडे.
२०२२ ची चाचणी: ४०० प्रशिक्षण फेऱ्या आणि एक मॉडेल
जॉर्डन हॉफमन, लोरां सिफ्रे आणि त्यांच्या DeepMind सहकाऱ्यांनी ४०० पेक्षा जास्त मॉडेल प्रशिक्षित केली, ७ कोटींपेक्षा कमी ते १६ अब्जांपेक्षा जास्त पॅरामीटरची, प्रत्येक अनेक प्रमाणांच्या डेटावर. त्यांनी सर्वोत्तम वाटणीचा अंदाज तीन प्रकारे घेतला: प्रशिक्षण वक्रांवरील सर्वात कमी लॉस मागोवा घेऊन, ठरलेल्या संगणन अंदाजपत्रकांवर वक्र बसवून (ज्यांना IsoFLOP प्रोफाइल म्हणतात), आणि लॉसला थेट एक सूत्र बसवून. तिघांत जवळचा मेळ होता. मॉडेलच्या आकाराचा घातांक ०.५०, ०.४९ आणि ०.४६ आला, आणि डेटाचा ०.५०, ०.५१ आणि ०.५४, Kaplan यांच्या ०.७३ आणि ०.२७ च्या तुलनेत. शोधनिबंधाचा सारांश असा की मॉडेलचा आकार प्रत्येक वेळी दुप्पट केला की प्रशिक्षण टोकनही दुप्पट व्हावेत.
Gopher ला प्रशिक्षित करणाऱ्या संगणनासाठी, जे शोधनिबंध ५.७६ × १०^२३ क्रिया असे नोंदवतो, अंदाज होता चार पट लहान आणि चार पट जास्त टोकनवर प्रशिक्षित मॉडेल. Chinchilla ने ती चाचणी घेतली. शोधनिबंधाच्याच आकड्यांना भागले तर Chinchilla साठी सुमारे २० टोकन प्रति पॅरामीटर येते, GPT-3 साठी साधारण १.७ (१७५ अब्ज पॅरामीटरवर ३०० अब्ज टोकन) आणि Gopher साठी १.१. शोधनिबंधाच्या अंदाजानुसार GPT-3 सारखे १७५ अब्ज पॅरामीटरचे मॉडेल ४.४१ × १०^२४ क्रियांनी आणि ४.२ ट्रिलियनपेक्षा जास्त टोकनवर प्रशिक्षित करणे सर्वोत्तम ठरेल.
एका आकड्याबाबत काळजी हवी. १२ एप्रिल २०२२ ची DeepMind ची ब्लॉग पोस्ट म्हणते की Chinchilla १.३ ट्रिलियन टोकनवर प्रशिक्षित झाले, तर शोधनिबंध त्याच्या मजकुरात आणि पहिल्या तक्त्यात १.४ ट्रिलियन म्हणतो. हा लेख शोधनिबंधातील आकडा वापरतो, आणि Epoch AI चा शोधनिबंधाचा सारांशही तोच देतो.
DeepMind च्या स्वतःच्या चाचण्याही दाखवतात की compute-optimal म्हणजे सर्वोत्तम नव्हे. ब्लॉग पोस्ट नमूद करते की Google चे PaLM, ५४० अब्ज पॅरामीटर आणि ७६८ अब्ज टोकनसह, Chinchilla च्या सुमारे पाच पट संगणन वापरले आणि अनेक कामांवर त्याच्यापेक्षा सरस ठरले. लेखकांची पद्धत वर्तवते की PaLM च्या अंदाजपत्रकावर ३ ट्रिलियन टोकनवरचे १४० अब्ज पॅरामीटरचे मॉडेल सर्वोत्तम निवड ठरले असते.
लेखक स्वतःच्या मर्यादाही सांगतात. त्यांच्याकडे फक्त दोन तुलनायोग्य मोठ्या प्रमाणाच्या फेऱ्या आहेत, Chinchilla आणि Gopher, आणि मधल्या आकारांवर एकही नाही. उच्च संगणनावर काही वक्रता दिसत असताना ते पॉवर-लॉ सीमा गृहीत धरतात, जी, त्यांच्या मते, सर्वात मोठ्या मॉडेलांचा सर्वोत्तम आकार अजूनही जास्त मोजला जात असल्याचे सुचवते. प्रत्येक फेरीत डेटावरून एकदाही पूर्ण फेरा झाला नाही.
लहान मॉडेल तयार झाल्यावर काय वाचवते
Chinchilla चा सारांश दुसरा फायदा जोडतो: ते लहान असल्यामुळे फाइन-ट्यूनिंगसाठी आणि इन्फरन्ससाठी, म्हणजे प्रशिक्षणानंतर वापरकर्त्यांना उत्तर देण्याच्या कामासाठी, त्याला बरेच कमी संगणन लागते. लोकप्रिय मॉडेलला प्रशिक्षित करण्यापेक्षा खूप जास्त वेळा प्रश्न विचारले जातात, म्हणून प्रयोगशाळेच्या बिलात त्याचा चालवण्याचा खर्च साचत जातो, आणि लहान मॉडेल हेच फोनवर बसू शकणारे असते.
Meta चा Llama 3 शोधनिबंध प्रयोगशाळांनी हा मुद्दा कसा वापरला ते दाखवतो. त्याच्या चमूने स्वतःचा स्केलिंग नियम बसवला, जसे आमच्या प्रशिक्षण स्पष्टीकरणात वर्णन आहे, आणि म्हणतो की त्याचे ४०५ अब्ज पॅरामीटरचे प्रमुख मॉडेल त्याच्या अंदाजपत्रकासाठी अंदाजे compute-optimal आकाराचे आहे. मग Meta जोडते की तिने तिची लहान मॉडेल compute-optimal पेक्षा खूप जास्त काळ प्रशिक्षित केली, आणि त्याच इन्फरन्स अंदाजपत्रकावर त्याचा निकाल compute-optimal मॉडेलांपेक्षा चांगला आहे. Epoch AI चा पुनरावृत्ती कामाचा सारांश हाच सामान्य मुद्दा मांडतो: इन्फरन्सचा खर्च कमी करण्यासाठी, निदान प्री-ट्रेनिंग संगणनाच्या बाबतीत, compute-optimal रकमेपेक्षा जास्त काळ प्रशिक्षित केलेले लहान मॉडेल वापरणे सहसा चांगले. म्हणून “compute-optimal” हे फक्त प्रशिक्षणाच्या बिलाबद्दलच्या प्रश्नाला उत्तर देते.
DeepSeek ची जानेवारी २०२४ ची डेटावरील तपासणी
DeepSeek-AI चा ५ जानेवारी २०२४ चा शोधनिबंध आधीच्या दोन शोधनिबंधांतील मतभेदातून सुरू होतो, ज्यांनी वेगवेगळे निष्कर्ष दाखवले आणि नियम किती व्यापक लागू होतात याबद्दल शंका निर्माण केल्या, असे तो म्हणतो. त्याने IsoFLOP पद्धतीने वक्र पुन्हा बसवले आणि मॉडेलच्या आकाराचे माप म्हणून पॅरामीटर संख्येऐवजी प्रति टोकन नॉन-एम्बेडिंग FLOPs, म्हणजे प्रत्येक टोकनला किती संगणन लागते त्याचे माप, वापरले.
त्याचा तक्ता ४ तीन डेटासंचांवर मॉडेल-आकाराचा घातांक देतो. OpenAI च्या ओळीसाठी, जो Kaplan चा आकडा आहे, तो ०.७३ आहे; DeepMind च्या MassiveText वर ०.४९; DeepSeek च्या सुरुवातीच्या डेटावर ०.४५०, त्याच्या सध्याच्या डेटावर ०.५२४, आणि OpenWebText2 च्या पुनर्बसवणीवर ०.५७८. शोधनिबंधाचे वाचन असे की डेटा जितका चांगला, तितका कोणत्याही अतिरिक्त संगणनाचा जास्त भाग मोठ्या मॉडेलकडे जावा, आणि गुणवत्ता वाटणी बदलते. हा DeepSeek चा स्वतःच्या डेटासंचांवरील स्वतःचा निष्कर्ष आहे. कंपनी म्हणते की बसवलेले नियम तिच्या ७ अब्ज आणि ६७ अब्ज पॅरामीटरच्या मॉडेलांची कामगिरी वर्तवतात, दोन्ही २ ट्रिलियन टोकनवर प्रशिक्षित, जे मोठ्यासाठी सुमारे ३० टोकन प्रति पॅरामीटर भरते.
एक पुनरावृत्तीचा प्रयत्न, आणि त्याला काय आढळले
एप्रिल २०२४ मध्ये AI कलांचा मागोवा घेणारा संशोधन गट Epoch AI चे टामे बेसिरोग्लू, एगे एर्डिल, मॅथ्यू बार्नेट आणि जोश यू यांनी DeepMind च्या तिसऱ्या पद्धतीची, बसवलेल्या सूत्राची, पुनरावृत्ती करण्याचा प्रयत्न प्रसिद्ध केला. त्यांनी शोधनिबंधातील आलेखांवरून काही डेटा पुन्हा उभारला आणि तेच सूत्र बसवले.
ते नोंदवतात की प्रसिद्ध केलेले पॅरामीटर अंदाज त्या पुन्हा उभारलेल्या डेटावर कमी बसतात. ते नोंदवतात की प्रसिद्ध विश्वास अंतराल अविश्वसनीयरीत्या अरुंद आहेत, इतके अरुंद की त्यांच्या सारांशानुसार ६,००,००० पेक्षा जास्त प्रयोग लागले असते, तर DeepMind ने बहुधा ५०० पेक्षा कमी चालवले. आणि ते नोंदवतात की प्रसिद्ध झालेले सूत्र सुमारे ७० टोकन प्रति पॅरामीटर सुचवते, जे DeepMind च्या स्वतःच्या पद्धतींशी आणि Chinchilla प्रशिक्षित करण्यासाठी वापरलेल्या २० टोकन प्रति पॅरामीटरशी जुळत नाही. त्यांची पुनर्बसवणी सुमारे २० देते, शोधनिबंधाच्या इतर दोन पद्धतींशी सुसंगत. फरकाचे कारण ते अभिसरणापूर्वी थांबणारा ऑप्टिमायझर आणि प्रसिद्ध आकड्यांचे पूर्णांकन असे सांगतात.
त्यामुळे निष्कर्ष एखाद्या मथळ्यातून वाटतो त्यापेक्षा अरुंद ठरतो. एका पुनरावृत्तीच्या प्रयत्नाला तिसऱ्या पद्धतीच्या प्रसिद्ध आकड्यांत अडचणी आढळल्या आणि तिचा समान-प्रमाण निकाल पहिल्या दोन पद्धतींशी सुसंगत आढळला. हे पुन्हा उभारलेल्या डेटावर बांधलेले बाहेरचे प्रीप्रिंट आहे, अंतिम शब्द नाही, आणि प्रसिद्ध बसवणीवर अवलंबून असलेल्या आधीच्या कामात सुधारणा लागू शकतात, असे Epoch म्हणते.
२०२६ चा अहवाल काय म्हणतो, आणि सर्वमचे एक उदाहरण
योशुआ बेंजिओ यांच्या नेतृत्वाखाली ३ फेब्रुवारी २०२६ रोजी प्रसिद्ध झालेला आणि ३० पेक्षा जास्त देश व आंतरराष्ट्रीय संघटनांनी पाठिंबा दिलेला आंतरराष्ट्रीय AI सुरक्षा अहवाल २०२६, स्केलिंग नियमांचे वर्णन मॉडेल आकार, संगणन आणि कामगिरी यांतील वर्तवता येणारे संबंध असे करतो, जे मॉडेल आकाराच्या सहा दशकांमध्ये टिकले आहेत. तो हेही म्हणतो की ते निरीक्षित वर्तनावरून काढलेले अनुभवजन्य नियमितता आहेत जे आतापर्यंत पाहिलेल्या संगणन किंवा डेटाच्या पलीकडे मोडू शकतात, आणि जानेवारी २०२५ पासून क्षमतेतील वाढ मॉडेलच्या आकारापेक्षा पोस्ट-ट्रेनिंग आणि वापराच्या वेळी जास्त संगणनातून वाढत्या प्रमाणात आली आहे.
सर्वम AI ची ६ मार्च २०२६ ची पोस्ट सध्याचा एक भारतीय आकडा देते. ती नोंदवते की सर्वम ३०B १६ ट्रिलियन टोकनवर आणि सर्वम १०५B १२ ट्रिलियनवर प्रशिक्षित झाले, दोन्ही इंडियाAI मिशनच्या संगणनावर (मिशनचे GPU आणि मॉडेल यावरचा आमचा वृत्तांत पाहा). साध्या भागाकाराने ३०B साठी सुमारे ५३० टोकन प्रति पॅरामीटर आणि १०५B साठी सुमारे ११४ येतात, Chinchilla च्या २० पेक्षा खूप जास्त. या तुलनेत एक अडचण आहे, कारण दोन्ही mixture-of-experts मॉडेल आहेत, जी प्रत्येक टोकनसाठी त्यांच्या पॅरामीटरचा फक्त काही भाग वापरतात, आणि पोस्ट ३०B साठी २.४ अब्ज सक्रिय पॅरामीटर सांगते. Chinchilla ची स्वतःची तुलना dense मॉडेलांत होती, जिथे प्रत्येक टोकनसाठी प्रत्येक पॅरामीटर वापरला जातो, आणि २०२२ चा शोधनिबंध mixture-of-experts रचनांची चर्चा फक्त इतरांचे काम म्हणून करतो. सर्वमची पोस्ट टोकन संख्या सांगते आणि त्यांच्यामागे compute-optimal गणित असल्याचे वर्णन करत नाही.
स्रोत आणि पुढील वाचन
- Kaplan et al., OpenAI and Johns Hopkins University: Scaling Laws for Neural Language Models (arXiv:2001.08361, 23 January 2020)
- Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
- Google DeepMind: An empirical analysis of compute-optimal large language model training (blog post, 12 April 2022)
- Besiroglu, Erdil, Barnett and You, Epoch AI: Chinchilla Scaling, a replication attempt (arXiv:2404.10102, April 2024)
- Epoch AI: Chinchilla scaling, a replication attempt (summary page, 17 April 2024)
- DeepSeek-AI: DeepSeek LLM, Scaling Open-Source Language Models with Longtermism (arXiv:2401.02954, 5 January 2024)
- Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, July 2024)
- International AI Safety Report 2026 (published 3 February 2026)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.
आवडलं? पुढचा लेख मिळवा.
एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.