வரைபடம்: tuput
தமிழ்
மொழி மாதிரியை எவ்வளவு பெரிதாகக் கட்டுவது என்பதை ஆய்வகங்கள் முடிவு செய்யப் பயன்படுத்திய விதிகளை இரண்டு ஆய்வுக் கட்டுரைகள் அமைத்தன. 2020 OpenAI கட்டுரை பெரிய மாதிரிகளை ஆதரித்தது, 2022 டீப்மைண்ட் கட்டுரை மாதிரியும் தரவும் சமமாக வளர வேண்டும் என்றது; பிறகு டீப்சீக், மெட்டா, Epoch AI, 2026 சர்வதேச AI பாதுகாப்பு அறிக்கை ஆகியவற்றின் பணிகள் இரண்டையும் செம்மைப்படுத்தின.
டீப்மைண்ட் ஒரே பயிற்சி கம்ப்யூட்டில் இரண்டு மொழி மாதிரிகளை உருவாக்கியது; சிறியது வென்றது. கோபருக்கு 280 பில்லியன் அளவுருக்கள் இருந்தன (நரம்பியல் வலையமைப்புக்குள் உள்ள சரிசெய்யக்கூடிய எண்கள்), அது 300 பில்லியன் டோக்கன்களைப் படித்தது (மாதிரி கற்றுக்கொள்ளும் சில எழுத்துகள் கொண்ட உரைத் துண்டுகள்). சின்சில்லாவுக்கு 70 பில்லியன் அளவுருக்கள் இருந்தன, அது 1.4 டிரில்லியன் டோக்கன்களைப் படித்தது. 2022 மார்ச் 29 அன்று arXiv இல் வெளியான டீப்மைண்டின் கட்டுரையின்படி, சின்சில்லா தான் அளந்த கிட்டத்தட்ட எல்லாப் பணிகளிலும் கோபரை வென்றது; பொது அறிவுச் சோதனையான MMLU இல் அது 67.5 சதவீதம் பெற்றது (கட்டுரையின் அட்டவணையில் 67.6), கோபர் 60.0.
இந்த முடிவு, ஒரு மாதிரியைக் கட்டுவதற்கு முன்பே அதன் தரத்தைக் கணிக்கும் முறையிலிருந்து வந்தது; அதற்கு அளவு விதி (scaling law) என்று பெயர்: மாதிரியின் பிழையை அதன் அளவு, பயிற்சித் தரவு, செலவிட்ட கணிப்புத் திறன் ஆகியவற்றுடன் இணைக்கும் பொருத்தப்பட்ட வளைவு. விதிகளை வகுத்த இரண்டு கட்டுரைகளை, அதாவது 2020 ஜனவரி 23 அன்று OpenAI வெளியிட்டதையும் 2022 மார்ச் 29 அன்று டீப்மைண்ட் வெளியிட்டதையும், பிறகு அவற்றைச் சரிசெய்த பிற்கால ஆய்வுகளையும் இந்தக் கட்டுரை தொடர்கிறது: 2024 ஜனவரியில் டீப்சீக், 2024 ஏப்ரலில் வெளி மறுபடியும் செய்து பார்க்கும் முயற்சி, 2024 ஜூலையில் மெட்டாவின் லாமா 3, 2026 பிப்ரவரி 3 அன்று சர்வதேச AI பாதுகாப்பு அறிக்கை. ஒரு மாதிரி உண்மையில் எப்படிப் பயிற்றுவிக்கப்படுகிறது என்பதற்கு எங்கள் படிப்படியான விளக்கத்தைப் பாருங்கள்.
2020 கட்டுரை எதை அளந்தது
OpenAI மற்றும் ஜான்ஸ் ஹாப்கின்ஸ் பல்கலைக்கழகத்தின் ஜாரெட் கப்லான், சாம் மெக்காண்ட்லிஷ் மற்றும் எட்டு இணை ஆசிரியர்கள் பல அளவுகளில் ட்ரான்ஸ்ஃபார்மர் மொழி மாதிரிகளைப் பயிற்றுவித்து, அவற்றின் குறுக்கு-என்ட்ரோபி இழப்பைக் கண்காணித்தனர்; இது அடுத்த டோக்கனை மாதிரி எவ்வளவு மோசமாகக் கணிக்கிறது என்பதன் மதிப்பெண், குறைவே நல்லது. இழப்பு, மாதிரி அளவு, தரவுத்தொகுப்பு அளவு, பயிற்சி கம்ப்யூட் ஆகியவற்றுடன் அடுக்கு விதியாகக் குறைகிறது என்றும், சில போக்குகள் ஏழுக்கும் மேற்பட்ட பத்து மடங்கு நிலைகளில் நீள்கின்றன என்றும் சுருக்கம் கூறுகிறது. அடுக்கு விதி என்பது மடக்கை அச்சுகள் கொண்ட வரைபடத்தில் நேர்கோடாகத் தெரிவது: ஓர் உள்ளீடு பத்து மடங்காகும் ஒவ்வொரு முறையும் இழப்பில் நிலையான, கணிக்கக்கூடிய சரிவு கிடைக்கிறது.
ஆய்வகங்கள் அடுத்து என்ன செய்தன என்பதை இரண்டு பிற கண்டுபிடிப்புகள் வடிவமைத்தன. வலையமைப்பு எவ்வளவு ஆழம் அல்லது அகலம் என்பது போன்ற கட்டமைப்பு விவரங்கள் ஒரு பரந்த வரம்புக்குள் மிகக் குறைந்த விளைவையே தந்தன, ஆகவே அளவே முக்கியம். மேலும் நிலையான கம்ப்யூட் வரவுசெலவுக்கு, மிகப் பெரிய மாதிரிகளை ஒப்பீட்டளவில் குறைந்த தரவில் பயிற்றுவித்து, ஒருங்கிணைவுக்கு (மேலும் பயிற்சி பயன்தராத புள்ளி) மிகவும் முன்பே நிறுத்துவதில்தான் சிறந்த முடிவு கிடைக்கிறது என்று கட்டுரை கூறுகிறது. அதன் பொருத்தப்பட்ட அடுக்குகள், மாதிரி அளவு கம்ப்யூட்டின் 0.73 அடுக்காகவும் தரவு கம்ப்யூட்டின் 0.27 அடுக்காகவும் வளர வேண்டும் என்கின்றன. டீப்மைண்டின் பிற்காலக் கட்டுரை இதை இவ்வாறு படிக்கிறது: 10 மடங்கு கம்ப்யூட் கிடைத்தால், மாதிரி 5.5 மடங்கும் பயிற்சி டோக்கன்கள் 1.8 மடங்கும் மட்டுமே வளர வேண்டும்.
கப்லான் கட்டுரை தன் எல்லைகளைப் பற்றி நேர்மையாகப் பேசுகிறது. விதிகள் பற்றி “உறுதியான கோட்பாட்டு புரிதல் எங்களுக்கு இல்லை” என்றும், அது இல்லாமல் அவற்றை எப்போது நம்பலாம் என்று அறிவது கடினம் என்றும் அதன் பிற்சேர்க்கை கூறுகிறது. இந்த அறிவுரையைப் பின்பற்றியே, அன்றைய பெரும்பாலான பெரிய மாதிரிகள், ஜிபிடி-3 உட்பட, சுமார் 300 பில்லியன் டோக்கன்களில் பயிற்றுவிக்கப்பட்டன என்று டீப்மைண்டின் ஆசிரியர்கள் குறிப்பிடுகின்றனர்.
பெரிய சட்டியா, அதிகப் பொருட்களா
ஒரு சமையலறை ஒப்பீடு உதவும். பயிற்சிச் செலவு தோராயமாக அளவுருக்களின் எண்ணிக்கை, டோக்கன்களின் எண்ணிக்கை ஆகியவற்றின் பெருக்கத்தைப் போல் ஆறு மடங்கு; கப்லானின் கட்டுரையும் டீப்சீக்கின் கட்டுரையும் இந்தத் தோராய மதிப்பைப் பயன்படுத்துகின்றன. அளவுருக்கள் சட்டியின் அளவு என்றும் டோக்கன்கள் பொருட்களின் அளவு என்றும், சமைக்கும் மணி நேரம் நிலையானது என்றும் நினைத்துக்கொள்ளுங்கள். இருமடங்கு பெரிய சட்டியைத் தேர்ந்தால், நேரம் நிலையாக இருக்கும்போது அதை பாதி அளவே நிரப்ப முடியும். குறைந்த இழப்பைப் பெற, நிலையான வரவுசெலவை சட்டிக்கும் பொருட்களுக்கும் எப்படிப் பிரிப்பது என்பதற்கு அளவு விதி பதில் தருகிறது. அந்தப் பதிலே “கம்ப்யூட்-உகந்தது” என்பதன் பொருள்.
கப்லானின் பொருத்தம் சட்டியின் பக்கம் சாய்ந்தது. டீப்மைண்டின் பொருத்தம் இரண்டையும் பொருத்துவதன் பக்கம் சாய்ந்தது.
2022 சோதனை: 400 பயிற்சி ஓட்டங்களும் ஒரு மாதிரியும்
ஜோர்டன் ஹாஃப்மேன், லாரன் சிஃப்ரே மற்றும் அவர்களின் டீப்மைண்ட் சகாக்கள் 70 மில்லியனுக்குக் குறைவான முதல் 16 பில்லியனுக்கு மேற்பட்ட அளவுருக்கள் வரை 400க்கும் மேற்பட்ட மாதிரிகளை, ஒவ்வொன்றையும் பல தரவு அளவுகளில் பயிற்றுவித்தனர். சிறந்த பிரிப்பை மூன்று வழிகளில் மதிப்பிட்டனர்: பயிற்சி வளைவுகள் முழுவதும் குறைந்த இழப்பைக் கண்காணிப்பது, நிலையான கம்ப்யூட் வரவுசெலவுகளில் வளைவுகளைப் பொருத்துவது (IsoFLOP சுயவிவரங்கள் எனப்படும்), இழப்புக்கே ஒரு சூத்திரத்தைப் பொருத்துவது. மூன்றும் நெருக்கமாக ஒத்துப்போயின. மாதிரி அளவுக்கான அடுக்கு 0.50, 0.49, 0.46 என்றும், தரவுக்கு 0.50, 0.51, 0.54 என்றும் வந்தது; கப்லானின் 0.73, 0.27 உடன் ஒப்பிடலாம். கட்டுரையின் சுருக்கம்: மாதிரி அளவு இருமடங்காகும் ஒவ்வொரு முறையும் பயிற்சி டோக்கன்களின் எண்ணிக்கையும் இருமடங்காக வேண்டும்.
கோபரைப் பயிற்றுவித்த கம்ப்யூட்டுக்கான கணிப்பு (அதைக் கட்டுரை 5.76 x 10^23 செயல்பாடுகள் என்கிறது), நான்கு மடங்கு சிறிய மாதிரியை நான்கு மடங்கு அதிக டோக்கன்களில் பயிற்றுவிப்பது. சின்சில்லா அதைச் சோதித்தது. கட்டுரையின் சொந்த எண்களைப் பிரித்துப் பார்த்தால், சின்சில்லாவுக்கு ஒரு அளவுருவுக்கு சுமார் 20 டோக்கன்கள் வருகின்றன; ஜிபிடி-3க்கு சுமார் 1.7 (175 பில்லியன் அளவுருக்களில் 300 பில்லியன் டோக்கன்கள்), கோபருக்கு 1.1. கட்டுரையின் மதிப்பீட்டின்படி, ஜிபிடி-3 போன்ற 175 பில்லியன் அளவுரு மாதிரியை 4.2 டிரில்லியனுக்கு மேற்பட்ட டோக்கன்களில் 4.41 x 10^24 செயல்பாடுகளுடன் பயிற்றுவிப்பதே சிறந்தது.
ஓர் எண்ணில் கவனம் தேவை. 2022 ஏப்ரல் 12 தேதியிட்ட டீப்மைண்ட் வலைப்பதிவு, சின்சில்லா 1.3 டிரில்லியன் டோக்கன்களில் பயிற்றுவிக்கப்பட்டது என்கிறது; கட்டுரை அதன் உரையிலும் முதல் அட்டவணையிலும் 1.4 டிரில்லியன் என்கிறது. இந்தக் கட்டுரை கட்டுரையின் எண்ணைப் பயன்படுத்துகிறது; கட்டுரை பற்றிய Epoch AI இன் சுருக்கமும் அதையே தருகிறது.
கம்ப்யூட்-உகந்தது என்பது சிறந்தது என்பதற்குச் சமமல்ல என்பதையும் டீப்மைண்டின் சொந்தச் சோதனைகள் காட்டுகின்றன. 540 பில்லியன் அளவுருக்களும் 768 பில்லியன் டோக்கன்களும் கொண்ட கூகுளின் PaLM, சின்சில்லாவின் கம்ப்யூட்டைப் போல் சுமார் ஐந்து மடங்கைப் பயன்படுத்தி, பல பணிகளில் அதைவிடச் சிறப்பாகச் செயல்பட்டது என்று வலைப்பதிவு குறிப்பிடுகிறது. ஆசிரியர்களின் முறை, PaLM இன் வரவுசெலவில் 3 டிரில்லியன் டோக்கன்களில் பயிற்றுவித்த 140 பில்லியன் அளவுரு மாதிரியே உகந்த தேர்வாக இருந்திருக்கும் என்று கணிக்கிறது.
ஆசிரியர்கள் தங்கள் சொந்த எல்லைகளைப் பட்டியலிடுகின்றனர். ஒப்பிடத்தக்க இரண்டு பெரிய அளவு ஓட்டங்கள் மட்டுமே அவர்களிடம் உள்ளன, சின்சில்லாவும் கோபரும், இடைப்பட்ட அளவுகளில் எதுவும் இல்லை. அடுக்கு விதி எல்லை என்று அவர்கள் எடுத்துக்கொள்கின்றனர், ஆனால் அதிக கம்ப்யூட்டில் சில வளைவைக் காண்கின்றனர்; மிகப் பெரிய மாதிரிகளின் உகந்த அளவு இன்னும் மிகையாக மதிப்பிடப்படக்கூடும் என்பதை இது குறிக்கிறது என்கின்றனர். ஒவ்வொரு ஓட்டமும் தன் தரவை ஒரு முறைக்கும் குறைவாகவே கடந்தது.
சிறிய மாதிரி கட்டப்பட்ட பிறகு எதைச் சேமிக்கிறது
சின்சில்லாவின் சுருக்கம் இரண்டாவது நன்மையைச் சேர்க்கிறது: அது சிறியது என்பதால், நுட்பச் சீரமைப்புக்கும் அனுமானத்துக்கும், அதாவது பயிற்சிக்குப் பிறகு பயனர்களுக்குப் பதில் சொல்லும் பணிக்கும், கணிசமாகக் குறைந்த கம்ப்யூட் தேவை. ஒரு பிரபல மாதிரி பயிற்றுவிக்கப்படுவதைவிட மிக அதிகமாகக் கேள்வி கேட்கப்படுகிறது, எனவே அதன் இயக்கச் செலவு ஆய்வகத்தின் கணக்கில் சேர்ந்துகொண்டே போகிறது; சிறிய மாதிரிதான் தொலைபேசியில் பொருந்தக்கூடிய வகையும்.
ஆய்வகங்கள் இந்தக் கருத்தை எப்படிப் பயன்படுத்தியுள்ளன என்பதை மெட்டாவின் லாமா 3 கட்டுரை காட்டுகிறது. அதன் குழு தனக்கே உரிய அளவு விதியைப் பொருத்தியது, எங்கள் பயிற்சி விளக்கத்தில் விவரித்தபடி; அதன் 405 பில்லியன் அளவுரு முதன்மை மாதிரி தன் வரவுசெலவுக்கு ஏறத்தாழ கம்ப்யூட்-உகந்த அளவு என்று அது கூறுகிறது. பிறகு, தனது சிறிய மாதிரிகளை கம்ப்யூட்-உகந்ததைவிட மிக நீண்ட காலம் பயிற்றுவித்ததாகவும், அதே அனுமான வரவுசெலவில் கம்ப்யூட்-உகந்த மாதிரிகளைவிட அதன் விளைவு சிறப்பாகச் செயல்படுகிறது என்றும் மெட்டா சேர்க்கிறது. மறுபடியும் செய்து பார்க்கும் பணி பற்றிய Epoch AI இன் சுருக்கமும் இதே பொதுக் கருத்தைக் கூறுகிறது: அனுமானச் செலவுகளைக் குறைக்க, குறைந்தது முன்-பயிற்சி கம்ப்யூட் வரை, கம்ப்யூட்-உகந்த அளவைவிட நீண்ட காலம் பயிற்றுவித்த சிறிய மாதிரியைப் பயன்படுத்துவது பொதுவாகச் சிறந்தது. ஆகவே “கம்ப்யூட்-உகந்தது” என்பது பயிற்சிக் கணக்கு பற்றிய கேள்விக்கு மட்டுமே பதில் தருகிறது.
தரவு பற்றிய டீப்சீக்கின் 2024 ஜனவரி சரிபார்ப்பு
டீப்சீக்-AI இன் 2024 ஜனவரி 5 கட்டுரை, முந்தைய இரண்டு கட்டுரைகளுக்கு இடையிலான முரண்பாட்டிலிருந்து தொடங்குகிறது; அவை மாறுபட்ட முடிவுகளைத் தந்தன, விதிகள் எவ்வளவு பரவலாகப் பொருந்தும் என்பதில் சந்தேகத்தை எழுப்பின என்று அது கூறுகிறது. அது IsoFLOP முறையைப் பயன்படுத்தி வளைவுகளை மீண்டும் பொருத்தியது; மாதிரி அளவின் அளவீடாக அளவுரு எண்ணிக்கைக்குப் பதிலாக, ஒவ்வொரு டோக்கனின் கம்ப்யூட் செலவின் அளவீடான, உட்பொதிவு அல்லாத FLOPகள் ஒரு டோக்கனுக்கு என்பதை வைத்தது.
அதன் அட்டவணை 4, மூன்று தரவுத்தொகுப்புகளில் மாதிரி-அளவு அடுக்கைத் தருகிறது. OpenAI வரிசைக்கு, அதாவது கப்லான் எண்ணுக்கு, அது 0.73; டீப்மைண்டின் MassiveText இல் 0.49; டீப்சீக்கின் ஆரம்பத் தரவில் 0.450, அதன் தற்போதைய தரவில் 0.524, OpenWebText2 இன் மறுபொருத்தத்தில் 0.578. தரவு சிறப்பாக இருக்கும்போது, கூடுதல் கம்ப்யூட்டில் அதிகப் பகுதி பெரிய மாதிரிக்குச் செல்ல வேண்டும், தரம் இந்தப் பிரிப்பை மாற்றுகிறது என்பது கட்டுரையின் வாசிப்பு. இது டீப்சீக்கின் சொந்தத் தரவுத்தொகுப்புகளில் அதன் சொந்தக் கண்டுபிடிப்பு. 2 டிரில்லியன் டோக்கன்களில் பயிற்றுவிக்கப்பட்ட தனது 7 பில்லியன், 67 பில்லியன் அளவுரு மாதிரிகளின் செயல்திறனைப் பொருத்தப்பட்ட விதிகள் முன்னறிவித்தன என்று நிறுவனம் கூறுகிறது; பெரியதற்கு இது ஒரு அளவுருவுக்கு சுமார் 30 டோக்கன்கள்.
ஒரு மறுபடியும் செய்து பார்க்கும் முயற்சியும் அது கண்டதும்
2024 ஏப்ரலில் AI போக்குகளைக் கண்காணிக்கும் ஆய்வுக் குழுவான Epoch AI இன் டாமே பெசிராக்லு, எகே எர்டில், மாத்யூ பார்னெட், ஜோஷ் யூ ஆகியோர் டீப்மைண்டின் மூன்றாவது முறையை, அதாவது பொருத்தப்பட்ட சூத்திரத்தை, மறுபடியும் செய்து பார்க்கும் முயற்சியை வெளியிட்டனர். கட்டுரையில் உள்ள வரைபடங்களிலிருந்து தரவின் ஒரு பகுதியை மீண்டும் கட்டி, அதே சூத்திரத்தைப் பொருத்தினர்.
வெளியிடப்பட்ட அளவுரு மதிப்பீடுகள் அந்த மறுகட்டமைத்த தரவுக்குப் பொருந்துவது மோசம் என்று அவர்கள் தெரிவிக்கின்றனர். வெளியிடப்பட்ட நம்பகத்தன்மை இடைவெளிகள் நம்பமுடியாத அளவு குறுகியவை என்றும், டீப்மைண்ட் அநேகமாக 500க்கும் குறைவான சோதனைகளையே நடத்தியிருக்கும் நிலையில், அவர்களின் சுருக்கத்தின்படி 600,000க்கும் மேற்பட்ட சோதனைகள் தேவைப்படும் அளவுக்கு குறுகியவை என்றும் தெரிவிக்கின்றனர். வெளியிடப்பட்ட சூத்திரம் ஒரு அளவுருவுக்கு சுமார் 70 டோக்கன்கள் என்பதைக் குறிக்கிறது என்றும், அது டீப்மைண்டின் சொந்த முறைகளுக்கும், சின்சில்லாவைப் பயிற்றுவிக்கப் பயன்படுத்திய ஒரு அளவுருவுக்கு 20 டோக்கன்களுக்கும் முரண்படுகிறது என்றும் தெரிவிக்கின்றனர். அவர்களின் மறுபொருத்தம் சுமார் 20 தருகிறது; கட்டுரையின் மற்ற இரண்டு முறைகளுடன் அது ஒத்துப்போகிறது. இந்த வேறுபாட்டை, ஒருங்கிணைவுக்கு முன்பே தேர்வுமுறை நிறுத்தப்பட்டதாலும் வெளியிடப்பட்ட எண்கள் முழுமையாக்கப்பட்டதாலும் ஏற்பட்டது என்று அவர்கள் கூறுகின்றனர்.
அதனால் தலைப்புச் செய்தி காட்டுவதைவிடக் குறுகியதே கண்டுபிடிப்பு. ஒரு மறுபடியும் செய்து பார்க்கும் முயற்சி, மூன்றாவது முறையின் வெளியிடப்பட்ட எண்களில் சிக்கல்களைக் கண்டது; அதன் சமமான அளவீட்டு முடிவு முதல் இரண்டுடன் ஒத்துப்போவதையும் கண்டது. இது மறுகட்டமைத்த தரவின் மீது கட்டப்பட்ட வெளி முன்-அச்சு, இறுதிச் சொல் அல்ல; வெளியிடப்பட்ட பொருத்தத்தை நம்பிய முந்தைய பணிகள் திருத்தப்பட வேண்டியிருக்கலாம் என்று Epoch கூறுகிறது.
2026 அறிக்கை என்ன சொல்கிறது, ஒரு சர்வம் எடுத்துக்காட்டு
யோஷுவா பெங்கியோ தலைமையில் 30க்கும் மேற்பட்ட நாடுகளும் சர்வதேச அமைப்புகளும் ஆதரவு தர, 2026 பிப்ரவரி 3 அன்று வெளியான சர்வதேச AI பாதுகாப்பு அறிக்கை 2026, அளவு விதிகளை மாதிரி அளவு, கம்ப்யூட், செயல்திறன் ஆகியவற்றுக்கு இடையிலான கணிக்கக்கூடிய உறவுகள் என்று விவரிக்கிறது; அவை மாதிரி அளவின் ஆறு பத்து மடங்கு நிலைகளில் நிலைத்துள்ளன. அவை கவனிக்கப்பட்ட நடத்தையிலிருந்து ஊகிக்கப்பட்ட அனுபவ ஒழுங்குகள் என்றும், இதுவரை கண்ட கம்ப்யூட் அல்லது தரவுக்கு அப்பால் அவை உடைந்துபோகலாம் என்றும், 2025 ஜனவரி முதல் திறன் முன்னேற்றங்கள் மாதிரி அளவிலிருந்து மட்டுமன்றி, பயிற்சிக்குப் பிந்தைய பணிகளிலிருந்தும் பயன்பாட்டு நேரத்தில் கூடுதல் கம்ப்யூட்டிலிருந்தும் அதிகரித்து வருகின்றன என்றும் அது கூறுகிறது.
சர்வம் AI இன் 2026 மார்ச் 6 பதிவு, இன்றைய ஓர் இந்தியத் தரவுப் புள்ளியைத் தருகிறது. சர்வம் 30B 16 டிரில்லியன் டோக்கன்களிலும் சர்வம் 105B 12 டிரில்லியன் டோக்கன்களிலும் பயிற்றுவிக்கப்பட்டன என்றும், இரண்டும் IndiaAI திட்டத்தின் கம்ப்யூட்டில் என்றும் அது தெரிவிக்கிறது (திட்டத்தின் GPUக்கள் மற்றும் மாதிரிகள் பற்றிய எங்கள் அறிக்கையைப் பாருங்கள்). எளிய வகுத்தலில் அது 30Bக்கு ஒரு அளவுருவுக்கு சுமார் 530 டோக்கன்கள், 105Bக்கு சுமார் 114; சின்சில்லாவின் 20ஐவிட மிக அதிகம். ஆனால் இந்த ஒப்பீட்டில் ஒரு சிக்கல் உண்டு: இரண்டும் நிபுணர்களின் கலவை மாதிரிகள், ஒவ்வொரு டோக்கனுக்கும் தங்கள் அளவுருக்களில் ஒரு பகுதியை மட்டுமே செயல்படுத்துபவை, 30Bக்கு 2.4 பில்லியன் செயலில் உள்ள அளவுருக்களை பதிவு தருகிறது. சின்சில்லாவின் சொந்த ஒப்பீடு அடர்த்தியான மாதிரிகளுக்கு இடையே இருந்தது, அங்கு ஒவ்வொரு டோக்கனுக்கும் ஒவ்வோர் அளவுருவும் பயன்படுத்தப்படுகிறது; 2022 கட்டுரை நிபுணர்களின் கலவை வடிவமைப்புகளை பிறரின் பணியாக மட்டுமே விவாதிக்கிறது. சர்வம் பதிவு டோக்கன் எண்ணிக்கைகளைப் பட்டியலிடுகிறது, அவற்றின் பின்னால் உள்ள கம்ப்யூட்-உகந்த கணக்கை விவரிக்கவில்லை.
ஆதாரங்களும் மேலும் வாசிக்கவும்
- Kaplan et al., OpenAI and Johns Hopkins University: Scaling Laws for Neural Language Models (arXiv:2001.08361, 23 January 2020)
- Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
- Google DeepMind: An empirical analysis of compute-optimal large language model training (blog post, 12 April 2022)
- Besiroglu, Erdil, Barnett and You, Epoch AI: Chinchilla Scaling, a replication attempt (arXiv:2404.10102, April 2024)
- Epoch AI: Chinchilla scaling, a replication attempt (summary page, 17 April 2024)
- DeepSeek-AI: DeepSeek LLM, Scaling Open-Source Language Models with Longtermism (arXiv:2401.02954, 5 January 2024)
- Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, July 2024)
- International AI Safety Report 2026 (published 3 February 2026)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
இந்தக் கட்டுரை AI கருவிகளின் உதவியுடன் ஆராயப்பட்டு எழுதப்பட்டு, துல்லியத்திற்காகத் திருத்தப்பட்டது. இது பொதுத் தகவலுக்கும் விவாதத்திற்கும் மட்டுமே, தொழில்முறை ஆலோசனை அல்ல. எங்கள் ஆசிரியர் தரநிலைகள் மற்றும் பொறுப்புத் துறப்பு ஐப் பார்க்கவும். பிழை கண்டீர்களா? எங்களிடம் சொல்லுங்கள்.
பிடித்ததா? அடுத்ததைப் பெறுங்கள்.
ஒரு நேரத்தில் ஒரு நல்ல கட்டுரை, நேரடியாக உங்கள் இன்பாக்ஸுக்கு. ஸ்பேம் இல்லை, எப்போது வேண்டுமானாலும் நிறுத்தலாம்.