Skip to content
सर्वमचे १०५ अब्ज पॅरामीटरचे मॉडेल प्रत्येक टोकनसाठी त्यांपैकी १०.३ अब्जांनी गणन करते, १९९१ च्या शोधनिबंधापासून Mixtral आणि डीपसीकपर्यंत पोहोचलेल्या मिक्स्चर-ऑफ-एक्स्पर्ट्स रचनेचा वापर करून
एआय आणि तंत्रज्ञान

सर्वमचे १०५ अब्ज पॅरामीटरचे मॉडेल प्रत्येक टोकनसाठी त्यांपैकी १०.३ अब्जांनी गणन करते, १९९१ च्या शोधनिबंधापासून Mixtral आणि डीपसीकपर्यंत पोहोचलेल्या मिक्स्चर-ऑफ-एक्स्पर्ट्स रचनेचा वापर करून

चित्रण: tuput

मराठी

भारतात इंडियाएआय मिशनच्या संगणन शक्तीवर प्रशिक्षित केलेले सर्वमचे खुले १०५B मॉडेल प्रत्येक टोकन १२८ पैकी ८ तज्ज्ञांकडे (एक्स्पर्ट) पाठवते आणि त्यामुळे एका वेळी १०.३ अब्ज पॅरामीटर सक्रिय करते. ही कल्पना जेकब्स, जॉर्डन, नोलन आणि हिंटन यांच्या १९९१ च्या शोधनिबंधात सुरू होते आणि जानेवारी २०१७ मध्ये नोआम शझीर व सहकाऱ्यांच्या शोधनिबंधातून भाषा मॉडेलांपर्यंत पोहोचली.

· · 8 मिनिटांचे वाचन

सर्वमचे १०५B मॉडेल ६ मार्च २०२६ रोजी खुल्या वेट्ससह प्रसिद्ध झाले. त्यात १०५ अब्ज पॅरामीटर आहेत (प्रशिक्षणादरम्यान नेटवर्क शिकणारे समायोज्य आकडे), पण त्याच्या Hugging Face मॉडेल कार्डनुसार कोणत्याही एका टोकनसाठी, म्हणजे शब्द किंवा शब्दाचा तुकडा, त्यांपैकी फक्त १०.३ अब्ज सक्रिय असतात. ही बचत मिक्स्चर ऑफ एक्स्पर्ट्स नावाच्या रचनेतून येते. सर्वम म्हणते की तिने हे मॉडेल आणि त्याचे लहान भावंड ३०B भारतात, इंडियाएआय मिशनअंतर्गत मिळालेल्या संगणन शक्तीवर, सुरुवातीपासून प्रशिक्षित केले.

Mixtral, डीपसीक-V2 आणि डीपसीकच्या नव्या मॉडेलांमध्येही मिक्स्चर ऑफ एक्स्पर्ट्सच आहे. शोधनिबंध आणि मॉडेल कार्डे १९९१ च्या एका शोधनिबंधापासून १३७ अब्ज पॅरामीटरच्या २०१७ मधील नेटवर्कपर्यंत, आणि तिथून २०२४ ते २०२६ च्या खुल्या मॉडेलांपर्यंत एक रेषा दाखवतात. सर्वमचे १०५B डीपसीक-V2 सोबत दोन रचनात्मक वैशिष्ट्ये सामायिक करते, एक सामायिक तज्ज्ञ आणि लक्ष (अटेन्शन) चे संकुचित रूप, दोन्ही खाली वर्णन केलेली.

नेटवर्कच्या आत राउटर काय करतो

या संज्ञा नवीन असलेल्या वाचकांसाठी, मोठे भाषा मॉडेल कसे प्रशिक्षित केले जाते यावरील आमचे स्पष्टीकरण पॅरामीटर, टोकन आणि प्री-ट्रेनिंग समजावते.

सामान्य ट्रान्सफॉर्मरमध्ये, म्हणजे आजच्या चॅटबॉटमागील रचनेत, प्रत्येक टोकन प्रत्येक थरावर एका फीड-फॉरवर्ड ब्लॉकमधून जातो. तो ब्लॉक म्हणजे आकड्यांचा मोठा गठ्ठा, जो मॉडेलच्या प्रक्रियेचा बराच भाग करतो. मिक्स्चर-ऑफ-एक्स्पर्ट्स मॉडेल तो एक ब्लॉक अनेक लहान ब्लॉकांनी बदलते, ज्यांना तज्ज्ञ म्हणतात, आणि एक राउटर जोडते. Hugging Face चे २०२३ चे स्पष्टीकरण राउटरचे वर्णन एक छोटे शिकणारे नेटवर्क असे करते जे कोणते टोकन कोणत्या तज्ज्ञाकडे जाईल ते ठरवते, आणि ते उर्वरित मॉडेलसोबतच प्रशिक्षित केले जाते असे सांगते. Mixtral वरील Mistral ची पोस्ट तेच म्हणते: तज्ज्ञ आणि राउटर एकाच वेळी प्रशिक्षित होतात.

परिणाम म्हणजे दोन आकड्यांतील फारकत. Hugging Face च्या फेब्रुवारी २०२६ च्या शब्दांत, मॉडेलची क्षमता त्याच्या एकूण पॅरामीटरवर अवलंबून असते, पण त्याचा अनुमानाचा वेग (इन्फरन्स स्पीड) त्याच्या सक्रिय पॅरामीटरवर अवलंबून असतो. पोस्ट खुल्या gpt-oss-20b मॉडेलचे उदाहरण घेते: एकूण २१ अब्ज पॅरामीटर, प्रत्येक टोकनसाठी ३२ पैकी ४ तज्ज्ञ वापरलेले, सुमारे ३.६ अब्ज सक्रिय. Apple M3 Ultra च्या मेमरी बँडविड्थवरून काढलेला वेगाचा अंदाज सुमारे १११ टोकन प्रति सेकंद आला, आणि मोजलेला वेग सुमारे ११५ होता.

तज्ज्ञ म्हणजे विषयतज्ज्ञ नव्हे. २०२६ ची पोस्ट म्हणते की तो फक्त शिकता येणारा उप-नेटवर्क आहे, “गणित तज्ज्ञ” किंवा “कोड तज्ज्ञ” नाही. २०२३ ची पोस्ट नोंदवते की एका अभ्यासात (ST-MoE) एन्कोडरमधील तज्ज्ञ विरामचिन्हे किंवा विशेषनामे यांसारख्या टोकनांच्या गटांत विशेष झाले, आणि बहुभाषिक चाचणीत कोणताही एक तज्ज्ञ एका भाषेत विशेष झाला नाही.

१९९१ ची कल्पना, २०१७ ची झेप

सुरुवातीचा बिंदू म्हणजे १९९१ मधील न्यूरल कॉम्प्युटेशन नियतकालिकाच्या खंड ३ मधील रॉबर्ट जेकब्स, मायकेल जॉर्डन, स्टीव्हन नोलन आणि जेफ्री हिंटन यांचा शोधनिबंध. तो अनेक स्वतंत्र नेटवर्कांच्या प्रणालीसाठी शिकण्याची एक पद्धत वर्णन करतो, ज्यात प्रत्येक नेटवर्क प्रशिक्षण प्रकरणांचा एक उपसंच हाताळते, आणि एक गेटिंग नेटवर्क प्रत्येक प्रकरण एका किंवा काही तज्ज्ञांकडे पाठवते, जेणेकरून वेटमधील बदल त्यांच्यापुरतेच राहतात. शोधनिबंधातील तळटीप सांगते की ही कल्पना प्रथम १९८८ मध्ये पिट्सबर्ग येथील एका उन्हाळी शाळेत जेकब्स आणि हिंटन यांनी मांडली. लेखकांनी स्वर ओळखण्याचे काम उप-कामांमध्ये विभागून तिची चाचणी केली, प्रत्येक उप-काम एका अगदी साध्या तज्ज्ञ नेटवर्कने सोडवले.

नोआम शझीर आणि सहा सहलेखकांनी २३ जानेवारी २०१७ रोजी पुढचे मोठे पाऊल प्रसिद्ध केले. त्यांचा सारांश आधुनिक GPU क्लस्टरवर संगणकीय कार्यक्षमतेत फक्त किरकोळ घट होऊन “मॉडेल क्षमतेत १०००x हून अधिक सुधारणा” नोंदवतो. त्यांनी बांधलेल्या थरात हजारो फीड-फॉरवर्ड तज्ज्ञ होते, आणि एक प्रशिक्षणक्षम गेटिंग नेटवर्क प्रत्येक उदाहरणासाठी त्यांचे विरळ मिश्रण निवडत असे. त्यांनी १३७ अब्ज पॅरामीटरपर्यंतचा असा एक थर एकावर एक रचलेल्या LSTM थरांमध्ये (भाषा नेटवर्कचा जुना प्रकार) लावला, आणि भाषा मॉडेलिंग व भाषांतराच्या मापदंडांवर कमी संगणकीय खर्चात प्रसिद्ध झालेल्या सर्वोत्तम निकालांपेक्षा चांगले निकाल नोंदवले. हे निकाल लेखकांचे स्वतःचे आहेत. Hugging Face चा वृत्तांत जोडतो की या कामाला उच्च संवाद खर्च आणि अस्थिर प्रशिक्षणाचा सामना करावा लागला.

दोन सुलभीकरणे: GShard आणि Switch

GShard वरील जून २०२० चा शोधनिबंध विरळ गेट केलेल्या तज्ज्ञांसह बहुभाषिक भाषांतर मॉडेल ६०० अब्ज पॅरामीटरच्या पलीकडे वाढवल्याचे नोंदवतो, १०० भाषांमधून इंग्रजीत भाषांतरासाठी २,०४८ TPU v3 प्रवेगकांवर ४ दिवसांत प्रशिक्षित.

विल्यम फेडस, बॅरेट झोफ आणि शझीर यांचे स्विच ट्रान्सफॉर्मर्स ११ जानेवारी २०२१ रोजी आले. त्याचा मुख्य बदल राउटिंग सोपे करणे हा होता. Hugging Face नोंदवते की आधीच्या रचना प्रत्येक टोकनसाठी किमान दोन तज्ज्ञ वापरत, आणि Switch प्रत्येक टोकन एकाकडेच पाठवते, ज्यामुळे राउटरचे काम, संवाद आणि बॅच आकार कमी होतात, आणि लेखकांच्या म्हणण्यानुसार गुणवत्ता टिकते. शोधनिबंध त्याच हार्डवेअरवर T5-Base आणि T5-Large या सुरुवातीच्या बिंदूंपेक्षा ७ पट वेगवान प्री-ट्रेनिंग, आणि T5-XXL पेक्षा ४ पट वेगवान असलेले ट्रिलियन-पॅरामीटर मॉडेल नोंदवतो. लेखक असेही म्हणतात की त्यांनी मोठी विरळ मॉडेले प्रथमच कमी-अचूकतेच्या bfloat16 संख्यांमध्ये प्रशिक्षित केली.

२०२४: Mixtral आणि डीपसीक कृती बदलतात

Mistral AI ने ११ डिसेंबर २०२३ रोजी Mixtral 8x7B Apache 2.0 परवान्याखाली प्रसिद्ध केले, आणि त्याचा शोधनिबंध ८ जानेवारी २०२४ रोजी आला. प्रत्येक थरात ८ तज्ज्ञ आहेत आणि राउटर प्रत्येक टोकनसाठी २ निवडतो. तज्ज्ञ टोकनागणिक वेगळे असल्याने, शोधनिबंध म्हणतो की प्रत्येक टोकनला ४७ अब्ज पॅरामीटरपर्यंत पोहोच आहे पण दिलेल्या टप्प्यात तो १३ अब्ज वापरतो. Mistral ची स्वतःची घोषणा ४६.७ अब्ज आणि १२.९ अब्ज देते, जे पूर्णांक केल्यावर तेच आकडे येतात, आणि Hugging Face वेगाची तुलना १२ अब्ज पॅरामीटरच्या मॉडेलशी करते. Mistral म्हणते की Mixtral बहुतेक मापदंडांवर Llama 2 70B आणि GPT-3.5 च्या बरोबरीचे किंवा त्याहून चांगले आहे, हा निर्मात्याचा दावा असून तो त्याने निवडलेल्या चाचण्यांवर मोजलेला आहे.

एकूण ४७ अब्ज आहे, ८ गुणिले ७ अब्ज म्हणजे ५६ अब्ज नाही, कारण फक्त फीड-फॉरवर्ड ब्लॉक तज्ज्ञांमध्ये विभागलेले आहेत. लक्ष (अटेन्शन) आणि इतर भाग सामायिक आहेत, असे Hugging Face समजावते.

Mixtral शोधनिबंधानंतर तीन दिवसांनी, ११ जानेवारी २०२४ रोजी, DeepSeekMoE शोधनिबंध आला. त्यात दोन बदल होते. त्याने तज्ज्ञांचे अधिक बारीक तुकडे केले आणि प्रत्येक टोकनसाठी त्यांपैकी अधिक सक्रिय केले, आणि काही सामायिक तज्ज्ञ सामाईक ज्ञान धरून ठेवण्यासाठी बाजूला ठेवले, जेणेकरून राउट केलेले तज्ज्ञ विशेष होऊ शकतील. शोधनिबंधाच्या चाचण्यांत १६ अब्ज पॅरामीटरची आवृत्ती सुमारे ४०% संगणनात LLaMA2 7B च्या बरोबरीची ठरली, आणि १४५ अब्ज पॅरामीटरची प्राथमिक आवृत्ती २८.५% संगणनात, कदाचित १८.२% इतक्या कमीत, DeepSeek 67B च्या बरोबरीची ठरली. या तुलना लेखकांच्या स्वतःच्या आहेत.

डीपसीक-V2 ७ मे २०२४ रोजी आले: एकूण २३६ अब्ज पॅरामीटर, प्रत्येक टोकनसाठी २१ अब्ज सक्रिय, १,२८,००० टोकनची संदर्भ खिडकी आणि ८.१ ट्रिलियन प्रशिक्षण टोकन. आधीच्या घन (डेन्स) DeepSeek 67B च्या तुलनेत, चमू प्रशिक्षण खर्चात ४२.५% घट, की-व्हॅल्यू कॅशे ९३.३% लहान आणि निर्मिती थ्रूपुट ५.७६ पटीपर्यंत नोंदवतो. की-व्हॅल्यू कॅशे म्हणजे मॉडेल लिहिताना आधीच्या टोकनांची जी स्मृती ठेवते ती, आणि ही घट शोधनिबंधातील दुसऱ्या वैशिष्ट्यातून येते, मल्टी-हेड लेटेंट अटेन्शन (MLA), जे ती कॅशे साठवलेल्या लहान रूपात संकुचित करते.

भारतात बनवलेली सर्वमची दोन मॉडेले

सर्वमचा ६ मार्च २०२६ चा ब्लॉग आणि दोन मॉडेल कार्डे रचना तपशीलवार देतात. दोन्ही मॉडेले १२८ तज्ज्ञांसह विरळ तज्ज्ञ थर वापरतात, आणि राउट केलेल्या तज्ज्ञांशिवाय एक सामायिक तज्ज्ञ नेहमी चालू असतो.

मॉडेलएकूण पॅरामीटरप्रति टोकन सक्रियवापरलेले राउट तज्ज्ञ
Mixtral 8x7B (शोधनिबंध)४७ अब्ज१३ अब्ज८ पैकी २
डीपसीक-V2 (शोधनिबंध)२३६ अब्ज२१ अब्जDeepSeekMoE रचना
सर्वम ३०B (मॉडेल कार्ड)सुमारे ३० अब्ज२.४ अब्ज, एम्बेडिंगशिवाय१२८ पैकी ६
सर्वम १०५B (मॉडेल कार्ड)सुमारे १०५ अब्ज१०.३ अब्ज१२८ पैकी ८

कार्ड सर्वम ३०B चे सक्रिय पॅरामीटर एम्बेडिंग थराशिवाय मोजते, म्हणजे टोकनांचे आकड्यांत रूपांतर करणारी शोध-तक्ता. Hugging Face वरील फाइल यादी ३०B साठी ३२ अब्ज आणि १०५B साठी १०६ अब्ज पॅरामीटर दाखवते, म्हणजे मॉडेलांची नावे पूर्णांकित आहेत.

लक्ष (अटेन्शन) कसे हाताळले जाते यात दोघे वेगळे आहेत. ३०B ग्रुप्ड क्वेरी अटेन्शन वापरते, ज्यात अनेक अटेन्शन हेड साठवलेल्या की आणि व्हॅल्यू सामायिक करतात (कार्ड ४ की-व्हॅल्यू हेड नमूद करते), कॅशे लहान करण्यासाठी. १०५B मल्टी-हेड लेटेंट अटेन्शन वापरते, तेच तंत्र जे डीपसीक-V2 कॅशे संकुचित करण्यासाठी वापरते, आणि सर्वम त्याचे वर्णन लांब इनपुटसाठी स्मृती आणखी कमी करणारे असे करते. प्री-ट्रेनिंगसाठी ३०B साठी १६ ट्रिलियन आणि १०५B साठी १२ ट्रिलियन टोकन वापरले.

राउटिंगबद्दल सर्वम म्हणते की तिने नेहमीच्या सॉफ्टमॅक्सऐवजी सिग्मॉइड फंक्शन्सनी तज्ज्ञांना गुण दिले आणि तज्ज्ञ-पूर्वग्रह (एक्स्पर्ट-बायस) पद जोडले. कंपनीचे सांगितलेले कारण तज्ज्ञांमध्ये चांगला समतोल आणि कमी राउटिंग कोलॅप्स हे आहे, म्हणजे असा बिघाड ज्यात थोडे तज्ज्ञ बहुतेक वाहतूक घेतात. Hugging Face चा २०२३ चा लेख लोड बॅलन्सिंगचे वर्णन या रचनेतील एक अवघड समस्या असे करतो, जी स्विच ट्रान्सफॉर्मर्सनी प्रशिक्षणादरम्यान जोडलेल्या सोप्या अतिरिक्त लॉसने हाताळली.

सर्वमने दोन्ही Apache 2.0 अंतर्गत प्रसिद्ध केली, वेट्स AI Kosh आणि Hugging Face वर. तिचा ब्लॉग म्हणतो की ३०B तिचे संवाद मंच सम्वाद आणि १०५B तिचा इंडस असिस्टंट चालवते. तो असेही नोंदवतो की H100 चिप्सवर ३०B, प्रति वापरकर्ता जुळणाऱ्या वेगात, Qwen3 आधाररेषेच्या प्रति GPU ३ ते ६ पट थ्रूपुट देते. तो आकडा आणि भारतीय भाषांच्या मापदंडांवर अत्याधुनिक निकालांचा कंपनीचा दावा ही सर्वमची स्वतःची विधाने आहेत. १०५B चे बाहेरील गुण इंडियाएआय मिशनवरील आमच्या वृत्तांतात आहेत, आणि मिशनचे विरळ मॉडेलाचे दुसरे प्रकाशन, ZenteiQ चे Dhir 5B, या लेखात आहे.

ही कल्पना किती पुढे गेली आहे

डीपसीक-V4.1-Flash, ज्याचे मॉडेल कार्ड १२ नोव्हेंबर २०२६ रोजी Hugging Face Hub वर चालू होते, त्यात ५५२ अब्ज बॅकबोन पॅरामीटर आणि १० लाख टोकनपर्यंतचा संदर्भ आहे. कार्ड म्हणते की प्रत्येक विरळ थरात १ सामायिक आणि ३८४ राउट केलेले तज्ज्ञ आहेत, प्रत्येक टोकनसाठी ६ राउट केलेले तज्ज्ञ सक्रिय. म्हणजे ३८४ पैकी ६ राउट केलेले तज्ज्ञ, सुमारे १.६%, तिथे Mixtral आपल्या तज्ज्ञांपैकी एक चतुर्थांश वापरते आणि सर्वमचे १०५B १२८ पैकी ८. कार्ड ४५ ट्रिलियन टोकनचा प्रशिक्षण संग्रह आणि MIT परवाना नमूद करते. १ ट्रिलियन पॅरामीटरवरील याच पद्धतीबद्दल आमच्या Mistral Large 4 वरील लेखात आहे.

ही रचना काय वाचवत नाही

प्रत्येक टोकनवर फक्त थोडे तज्ज्ञ काम करत असले तरी प्रत्येक तज्ज्ञ स्मृतीत असावा लागतो. सर्वमच्या मॉडेलांसाठी नमूद केलेले ३२ अब्ज आणि १०६ अब्ज पॅरामीटरचे फाइल आकार हेच यंत्राला धरून ठेवावे लागतात. Hugging Face चे २०२३ चे स्पष्टीकरण म्हणते की Mixtral दर्जाच्या मॉडेलला पूर्ण ४७ अब्ज पॅरामीटर धरून ठेवण्याइतकी व्हिडिओ मेमरी लागते, आणि मिक्स्चर-ऑफ-एक्स्पर्ट्स अनेक यंत्रांवरील उच्च-थ्रूपुट सेवेसाठी योग्य आहे, तर कमी मेमरी आणि कमी वाहतुकीसाठी घन मॉडेल चांगले. ते असेही नोंदवते की विरळ मॉडेले फाइन-ट्यूनिंग करताना ओव्हरफिटिंगला प्रवण राहिली आहेत, आणि तज्ज्ञ जोडल्याचे फायदे २५६ किंवा ५१२ नंतर कमी होतात.

Share
Copied!

स्रोत आणि पुढील वाचन

  1. Jacobs, Jordan, Nowlan and Hinton: Adaptive Mixtures of Local Experts, Neural Computation 3, 79-87 (1991)
  2. arXiv: Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (23 January 2017)
  3. arXiv: Lepikhin et al., GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (30 June 2020)
  4. arXiv: Fedus, Zoph and Shazeer, Switch Transformers (11 January 2021)
  5. Mistral AI: Mixtral of experts (11 December 2023)
  6. arXiv: Jiang et al., Mixtral of Experts (8 January 2024)
  7. arXiv: Dai et al., DeepSeekMoE (11 January 2024)
  8. arXiv: DeepSeek-AI, DeepSeek-V2 (7 May 2024)
  9. Hugging Face: Mixture of Experts Explained (11 December 2023)
  10. Hugging Face: Mixture of Experts (MoEs) in Transformers (26 February 2026)
  11. Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
  12. Hugging Face: Sarvam-105B model card
  13. Hugging Face: Sarvam-30B model card
  14. Hugging Face: DeepSeek-V4.1-Flash model card

हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.

#mixture of experts#sarvam ai#sarvam 105b#mixtral#deepseek#switch transformers#open-weight models#indiaai mission

आवडलं? पुढचा लेख मिळवा.

एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.

याच विभागात आणखी: एआय आणि तंत्रज्ञान
१० सप्टेंबर २०२६ रोजी प्रसिद्ध झालेल्या DeepSeek च्या ५५२ अब्ज पॅरामीटरच्या खुल्या वजनांच्या V4.1-Flash ने प्रति टोकन स्मृती कॅश ८९० बाइटपर्यंत आणला, जो आधीच्या मॉडेलच्या सुमारे एक चतुर्थांश आहे
लांब संभाषणाची मॉडेलची अल्पकालीन स्मृती सांभाळणे महागडे असते. DeepSeek चे सप्टेंबरचे प्रकाशन ती रचनेतूनच संकुचित करते, आणि त्याचा स्वतःचा अहवाल सांगतो की मॉडेल अजूनही कुठे मागे आहे. येथे यंत्रणा, २०२४ पासूनची कालरेषा आणि बाहेरच्यांनी काय तपासले ते आहे.
सर्वम व्हिजन २.१ इंग्रजी आणि २२ अनुसूचित भारतीय भाषा वाचते, हस्ताक्षर आणि फॉर्ममधील माहिती काढण्याची भर घालते, आणि सर्वमच्याच चाचण्यांत olmOCR-Bench वर ८७.३ गुण मिळवले
बेंगळुरूच्या कंपनीचे मॉडेल आता २२ भारतीय भाषांतील फॉर्म, तक्ते आणि हस्ताक्षर वाचते. प्रकाशनाची पोस्ट, सार्वजनिक बेंचमार्क पाने आणि या समस्येमागचे लिपीचे नियम, प्रत्येक गुणाचा माग तो कोणी चालवला इथपर्यंत.
OpenAI च्या २०२० च्या स्केलिंग नियम शोधनिबंधाला आढळले की मॉडेलचा लॉस सात पेक्षा जास्त दशकांमध्ये पॉवर लॉनुसार घटतो, आणि DeepMind च्या २०२२ च्या Chinchilla शोधनिबंधाने दाखवले की त्याच संगणन क्षमतेवर ७० अब्ज पॅरामीटरचे मॉडेल २८० अब्जाच्या मॉडेलला हरवू शकते
मॉडेलचा आकार, त्याचा प्रशिक्षण मजकूर आणि त्याचे संगणन बिल एकमेकांशी बदलता येतात. प्रत्येक शोधनिबंधाने काय मोजले, प्रत्येकाने कोणते आकडे छापले, एक पुनरावृत्तीचा प्रयत्न, आणि हे नियम किती दूरपर्यंत लागू होतात याबद्दल २०२६ चा सुरक्षा अहवाल काय म्हणतो.
← सर्व लेख