Skip to content
இந்தியக் குழுக்கள் இப்போது தமிழையும் தெலுங்கையும் ஒரு சொல்லுக்கு சுமார் இரண்டு டோக்கன்களில் படிக்கும் டோக்கனைசர்களை உருவாக்குகின்றன; சில உலகளாவியவற்றுக்கு நான்கு அல்லது அதற்கு மேல் தேவைப்படுகிறது
செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்

இந்தியக் குழுக்கள் இப்போது தமிழையும் தெலுங்கையும் ஒரு சொல்லுக்கு சுமார் இரண்டு டோக்கன்களில் படிக்கும் டோக்கனைசர்களை உருவாக்குகின்றன; சில உலகளாவியவற்றுக்கு நான்கு அல்லது அதற்கு மேல் தேவைப்படுகிறது

வரைபடம்: tuput

தமிழ்

இந்திய மொழி உரைக்கு சாட்பாட்டுக்குத் தேவையான துண்டுகளின் எண்ணிக்கையைக் குறைக்கும் டோக்கனைசரை க்னானி.ஏஐ, சர்வம், கிருத்ரிம் ஏஐ ஆகியவை ஒவ்வொன்றும் வெளியிட்டுள்ளன. 2026 மே 19 அன்று வெளியான க்னானியின் டோக்கனைசர், தாம் தொடங்கிய டோக்கனைசருக்கு 3.7, 3.9 தேவைப்பட்ட இடத்தில் தமிழுக்கும் தெலுங்குக்கும் ஒரு சொல்லுக்கு சுமார் 2.0 டோக்கன்கள் என்று தெரிவிக்கிறது.

· · 7 நிமிட வாசிப்பு

ஒரு சாட்பாட் செய்யும் முதல் படியை, அதாவது உரையைத் துண்டுகளாக வெட்டும் டோக்கனைசரை, இந்திய ஆராய்ச்சிக் குழுக்கள் புதிதாகக் கட்டமைத்துள்ளன; இதனால் தமிழுக்கும் தெலுங்குக்கும் ஒரு சொல்லுக்கு சுமார் இரண்டு துண்டுகளே தேவைப்படுகின்றன. க்னானி.ஏஐ மற்றும் என்விடியா ஆராய்ச்சியாளர்கள் 2026 மே 19 அன்று, ஒரு சொல்லுக்குச் சராசரியாகத் தமிழுக்கு 1.9969 டோக்கன்களும் தெலுங்குக்கு 2.0632 டோக்கன்களும் என்று தெரிவித்தனர். அவர்கள் தொடங்கிய நெமோட்ரான் 3 நானோவின் சொந்த டோக்கனைசருக்கு, அதே சோதனை உரையில், 3.7480 மற்றும் 3.9212 தேவைப்பட்டன.

மேலும் இரு இந்திய முயற்சிகள் அதே திசையில் செல்கின்றன. சர்வம் ஏஐ, 2024 அக்டோபர் 24 அன்று சர்வம்-1 உடன் ஒரு டோக்கனைசரை வெளியிட்டு, பத்து இந்திய மொழிகளில் ஒரு சொல்லுக்கு 1.4 முதல் 2.1 டோக்கன்கள் என்று தெரிவித்தது. பெங்களூருவில் உள்ள கிருத்ரிம் ஏஐ ஆராய்ச்சியாளர்கள் 2025 நவம்பரில் வெளியிட்ட ஆய்வறிக்கையின் டோக்கனைசரான மியூட்டன்ட்-இண்டிக், ஆங்கிலம், 22 இந்திய மொழிகள், நிரலாக்கக் குறியீடு ஆகியவற்றுக்கான சராசரி எண்ணிக்கையை மெட்டாவின் லாமா 4 டோக்கனைசரை விட 39.5% குறைக்கிறது; இது ஆசிரியர்களின் சொந்த அளவீடு.

கீழே உள்ள ஒவ்வொரு ஃபெர்ட்டிலிட்டி எண்ணும் அந்த டோக்கனைசரை உருவாக்கிய குழுவிடமிருந்தே வருகிறது; எனவே ஒவ்வொன்றும் உருவாக்கியவரின் கூற்று.

டோக்கன் என்றால் என்ன, ஃபெர்ட்டிலிட்டி எதை எண்ணுகிறது

ஒரு மொழி மாதிரி எழுத்துகளையோ முழுச் சொற்களையோ ஒருபோதும் பார்ப்பதில்லை. டோக்கனைசர் முதலில் உரையை டோக்கன்களாக வெட்டுகிறது; மாதிரி அவற்றை மட்டுமே படிக்கிறது, எழுதுகிறது. ஒரு டோக்கன் ஓர் எழுத்தாகவோ, சொல்லின் ஒரு பகுதியாகவோ, முழுச் சொல்லாகவோ, ஒரு நிறுத்தற்குறியாகவோ இருக்கலாம் என்று ஓப்பன்ஏஐயின் உதவி மையம் கூறுகிறது. ஆங்கிலத்துக்கு அது தோராயமான விதிகளைத் தருகிறது: ஒரு டோக்கன் சுமார் நான்கு எழுத்துகள் அல்லது ஒரு சொல்லின் முக்கால் பங்கு; எனவே 100 டோக்கன்கள் சுமார் 75 சொற்கள். மற்ற மொழிகளில் எழுத்துகள், சொற்கள், டோக்கன்கள் இடையிலான உறவு வேறுபடலாம் என்றும் அது சேர்க்கிறது.

தற்போதைய பெரும்பாலான டோக்கனைசர்கள் பைட் ஜோடி குறியாக்கம் (byte pair encoding) என்ற முறையைப் பயன்படுத்துகின்றன. ஹக்கிங் ஃபேஸ் ஆவணம் அதை விவரிக்கிறது: தனி எழுத்துகளிலிருந்து தொடங்கி, உரை மாதிரியில் அடுத்தடுத்து அடிக்கடி வரும் ஜோடியை மீண்டும் மீண்டும் இணைத்து, சொற்களஞ்சியம் இலக்கு அளவை எட்டும் வரை செல்வது. பொதுச் சொற்கள் ஒற்றை டோக்கன்களாகின்றன, அரிய சொற்கள் துண்டுகளாகப் பிரிக்கப்படுகின்றன. மாதிரியில் நிறைய உள்ள எழுத்துமுறைக்கு நீண்ட, திறமையான டோக்கன்கள் கிடைக்கின்றன. குறைவாக உள்ள எழுத்துமுறை சிறிய துண்டுகளாக வெட்டப்படுகிறது.

அந்த விளைவை அளக்கும் அளவுகோலே ஃபெர்ட்டிலிட்டி: ஒரு சொல்லுக்குத் தேவைப்படும் சராசரி டோக்கன் எண்ணிக்கை. சர்வமும் க்னானியும் அதை ஒரே விதமாக வரையறுக்கின்றன; சர்வம் ஆங்கிலத்தை சுமார் 1.4 என்று குறிப்பிடுகிறது. குறைந்த எண் என்றால் அதே வாக்கியத்துக்குக் குறைந்த டோக்கன்கள் என்று பொருள். மாதிரி அந்த டோக்கன்களை எப்படிப் பயன்படுத்துகிறது என்ற பின்னணிக்கு, சாட்பாட் அடுத்த சொல்லை எப்படி ஊகிக்கிறது என்பதையும் பெரிய மொழி மாதிரி எப்படிப் பயிற்றுவிக்கப்படுகிறது என்பதையும் பார்க்கலாம்.

கட்டணமும் நினைவகமும் ஏன் டோக்கன்களையே எண்ணுகின்றன

டோக்கன்தான் கட்டணத்துக்கும் நினைவகத்துக்கும் அலகு. டோக்கன் அடிப்படையிலான விலை, மாதிரியையும் டோக்கனின் வகையையும் பொறுத்தது; உள்ளீடும் வெளியீடும் தனித்தனியாக விலையிடப்படுகின்றன என்று ஓப்பன்ஏஐ உதவி மையம் கூறுகிறது. ஆந்த்ரோபிக்கின் விலைப் பக்கம் தனது கட்டணங்களை ஒரு மில்லியன் டோக்கன்களுக்கு என்று குறிப்பிடுகிறது. ஒரு மாதிரி ஒரே நேரத்தில் பார்வையில் வைத்திருக்கக்கூடிய அளவான சூழல் சாளரத்தையும் டோக்கன்களே தீர்மானிக்கின்றன.

அந்தப் பக்கத்தில் உள்ள இன்னோர் எச்சரிக்கை, விற்பனையாளர்களை ஒப்பிடும் எந்த ஒப்பீட்டுக்கும் பொருந்தும்: ஒரு மில்லியன் டோக்கன்களுக்குக் குறைந்த விலை என்பது குறைந்த மொத்தச் செலவுக்கு உத்தரவாதம் அல்ல, ஏனெனில் மாதிரிகள் ஒரே உரையை வெவ்வேறு விதமாக டோக்கனாக்கலாம். ஆந்த்ரோபிக்கின் விலைப் பக்கம் தனது சொந்த மாதிரிகள் பற்றி இதே கருத்தைச் சொல்கிறது: அதன் புதிய டோக்கனைசர் அதே உரைக்கு தோராயமாக 30% கூடுதல் டோக்கன்களை உருவாக்குகிறது.

க்னானியின் எடுத்துக்காட்டில், 1,000 சொற்கள் கொண்ட தெலுங்கு ஆவணம் அதன் டோக்கனைசரில் சுமார் 2,063 டோக்கன்கள், மாற்றப்படாத நெமோட்ரான் டோக்கனைசரில் 3,921, குவென் 3.5 டோக்கனைசரில் 4,753 ஆகிறது. அதே உள்ளடக்கத்துக்கு அனுமானச் செலவு (inference cost) தோராயமாகப் பாதி என்று க்னானி கூறுகிறது. அடிப்படை டோக்கனைசரின் 3.20 உடன் ஒப்பிடும்போது அதன் சராசரி 1.88 டோக்கன்கள்; அதனால் நிலையான டோக்கன் வரம்பில் சுமார் 37% கூடுதல் சொற்கள் பொருந்துகின்றன என்றும் க்னானி சேர்க்கிறது.

இடைவெளியை அளந்த 2023 ஆய்வு

ஒரேவாகோகீன் அஹியாவும் ஆறு இணை ஆசிரியர்களும், 2023 மே 23 அன்று ஆர்க்ஸிவில் வெளியிடப்பட்டு ஈஎம்என்எல்பி 2023 மாநாட்டில் பதிப்பிக்கப்பட்ட ஆய்வறிக்கையில் கல்வித்துறை அடித்தளத்தை வழங்கினர். பல மொழிகளில் இணையான வாக்கியத் தொகுப்பு, சாட்ஜிபிடியின் ஜிபிடி-3.5-டர்போ மாதிரியின் பின்னால் உள்ள டோக்கனைசர் வழியாகச் சென்றது. தெலுங்கு உட்பட, தனி எழுத்துமுறை கொண்ட மொழிகளுக்கு, அதே தகவலுக்கு லத்தீன் எழுத்து மொழிகளை விட ஐந்து மடங்கு வரை டோக்கன்கள் தேவைப்பட்டன என்று ஆசிரியர்கள் கண்டறிந்தனர்.

எக்ஸ்எல்சம் சுருக்க அளவுகோலில், தெலுங்கிலும் அம்ஹாரிக்கிலும் தூண்டல், உருவாக்கம் இரண்டுக்கும் நான்கு மடங்கு வரை கூடுதலாகச் செலவிடுவதாக அவர்கள் தெரிவிக்கின்றனர். ஆதரிக்கப்படும் மொழிகளில் பலவற்றைப் பேசுபவர்கள் மோசமான முடிவுகளைப் பெற்றுக்கொண்டே அதிகக் கட்டணம் செலுத்தினர் என்றும், இவர்கள் தொடக்கத்திலேயே ஏபிஐகள் குறைவாக எட்டக்கூடியதாக இருந்த பகுதிகளிலிருந்து வருபவர்களாக இருந்தனர் என்றும் அவர்களின் சுருக்கம் முடிக்கிறது. டோக்கனைசர் முதன்மையாக லத்தீன் எழுத்து மொழிகளில், முக்கியமாக ஆங்கிலத்தில் பயிற்றுவிக்கப்பட்டதால், பயிற்சித் தரவின் ஏற்றத்தாழ்வே காரணம் என்று ஆசிரியர்கள் கருதுகின்றனர்.

அந்த ஆய்வு 2023 இல் இருந்தவாறான ஒரு நிறுவனத்தின் டோக்கனைசரை மட்டுமே உள்ளடக்கியது. கீழே உள்ள கிருத்ரிமின் அட்டவணையில் ஓப்பன்ஏஐயின் திறந்த மாதிரி ஜிபிடி-ஓஎஸ்எஸ் உள்ளது; அதற்கு இந்திக்கு ஒரு சொல்லுக்கு 1.72 டோக்கன்களும் ஒடியாவுக்கு 6.26 டோக்கன்களும் தேவை.

சர்வம்: மாதிரிக்கு முன்பே கட்டப்பட்ட டோக்கனைசர்

2024 அக்டோபர் 24 அன்று திறந்த மாதிரியாக வெளியான சர்வம்-1, பத்து இந்திய மொழிகளுக்கும் ஆங்கிலத்துக்குமான 200 கோடி அளபுருக்கள் கொண்ட மாதிரி. இந்திய எழுத்துமுறைகளுக்கு ஏற்கெனவே உள்ள பன்மொழி மாதிரிகளுக்கு ஒரு சொல்லுக்கு 4 முதல் 8 டோக்கன்கள் தேவைப்படுவது வழக்கம் என்றும், தனது டோக்கனைசர் ஆதரிக்கப்படும் அனைத்து மொழிகளிலும் 1.4 முதல் 2.1 வரை எட்டுகிறது என்றும் சர்வம் கூறுகிறது. சொற்களஞ்சியத்தில் 68,096 டோக்கன்கள் உள்ளன; அவற்றில் 4,096 பின்னர் சேர்க்கப்படுவதற்காக ஒதுக்கப்பட்டவை.

இது தனது பயிற்சித் தரவையும் நீட்டிக்கிறது என்று நிறுவனம் வாதிடுகிறது. 2 டிரில்லியன் டோக்கன்கள் கொண்ட இந்திய மொழித் தொகுப்பு, மற்ற பிரபல டோக்கனைசர்கள் வழியாகச் செல்லும் 6 முதல் 8 டிரில்லியன் டோக்கன்களுக்குச் சமமான பயிற்சிச் சமிக்ஞையைத் தருகிறது என்று அது மதிப்பிடுகிறது. பயிற்சிக்கு யோட்டாவின் சக்தி கிளஸ்டரின் 1,024 ஜிபியுக்கள் ஐந்து நாட்கள் எடுத்தன.

2026 மார்ச் 6 அன்று சர்வம் இரு பெரிய திறந்த மாதிரிகளான சர்வம் 30பி, சர்வம் 105பி ஆகியவற்றை வெளியிட்டது; அவற்றின் டோக்கனைசர் 12 எழுத்துமுறைகளில் பட்டியலிடப்பட்ட 22 இந்திய மொழிகள் அனைத்தையும் உள்ளடக்குகிறது. அந்தப் பதிவின்படி, அது மற்ற திறந்த மூல டோக்கனைசர்களை விஞ்சுகிறது; ஒடியா, சந்தாலி, மணிப்புரி (மெய்தெய்) போன்ற குறைந்த வளமுள்ள மொழிகளுக்கு கணிசமாகத் திறமையானது. பதிவு ஒப்பீட்டை ஒரு விளக்கப்படமாகக் காட்டுகிறது, உரையில் மதிப்புகள் இல்லை; எனவே அதிலிருந்து எந்த எண்ணையும் மேற்கோள் காட்ட முடியாது. இந்திய மொழி உருவாக்கத்தில் 30பி மாதிரிக்கு அளக்கப்பட்ட சேவை நன்மையை டோக்கனைசர் 10 மடங்கு வரை விரிவாக்குகிறது என்றும் சர்வம் தெரிவிக்கிறது. இந்த மாதிரிகள் தேசியத் திட்டத்தில் எங்கே அமைகின்றன என்பதற்கு, இந்தியா தனது சொந்த மொழிகளில் செயற்கை நுண்ணறிவை உருவாக்குகிறது என்பதைப் பார்க்கவும்.

க்னானி: மாதிரியை மறுபயிற்சி செய்யாமல் டோக்கனைசரை நீட்டித்தல்

க்னானி.ஏஐ இந்திய மொழிகளுக்கான குரல் மற்றும் உரையாடல் செயற்கை நுண்ணறிவை உருவாக்குகிறது. என்விடியா ஆசிரியர்களுடன் சேர்ந்த, 2026 மே 19 தேதியிட்ட க்னானியின் பதிவு, என்விடியாவின் நெமோட்ரான் 3 நானோ டோக்கனைசரிலிருந்து தொடங்குகிறது; அது ஒரு மிஸ்ட்ரல் மாதிரியிலிருந்து பெறப்பட்டது, முக்கியமாக ஆங்கிலம் மற்றும் ஐரோப்பிய உரையில் பயிற்றுவிக்கப்பட்டது. அதன் கீழ் ஒரே இந்திய மொழிச் சொல் நான்கு அல்லது அதற்கு மேற்பட்ட டோக்கன்களாக விரியலாம் என்கிறது க்னானி. மாதிரியை மறுபயிற்சி செய்யாமலும் அதன் கட்டமைப்பை மாற்றாமலும் இந்தி, வங்காளம், தமிழ், தெலுங்குக்காக டோக்கனைசரை நீட்டிப்பதே க்னானியின் இலக்காக இருந்தது.

இரு முறைகள் ஒப்பிடப்பட்டன. ஒன்று, இந்திய மொழி உரையைக் கொண்டு ஏற்கெனவே உள்ள இணைப்பு அட்டவணையில் பைட் ஜோடி குறியாக்கத்தைத் தொடர்கிறது; 32,000க்கும் மேற்பட்ட புதிய இணைப்பு விதிகளை இலக்காகக் கொள்கிறது. மற்றொன்று தனி இந்திய மொழி டோக்கனைசரைப் பயிற்றுவித்து, அதன் டோக்கன்களை முழுச் சரங்களாகச் சொற்களஞ்சியத்தில் இணைக்கிறது. க்னானியின் எடுத்துக்காட்டு தமிழிலிருந்து வருகிறது. வாடிக்கையாளர் (“customer”) என்ற சொல் அதன் வணிகப் பயன்பாடுகளில் பொதுவானது. விகுதி சேர்ந்த வடிவமான வாடிக்கையாளர்களுக்கு (“to the customers”) பயிற்சியில் ஒருபோதும் வந்திருக்காமல் போகலாம்; இரண்டாவது முறையில் அத்தகைய சொல் எழுத்து எழுத்தாகப் பிரிந்த துண்டுகளுக்குத் திரும்பலாம். முதல் முறையில் அது கற்ற பகுதிகளிலிருந்து கட்டப்படுகிறது என்று க்னானி கூறுகிறது.

தெரிவிக்கப்பட்ட முடிவுகள் முதல் முறைக்குச் சாதகமாக உள்ளன; க்னானி அதை இண்டிக் கண்டினியூட் பிபிஇ என்று அழைக்கிறது. நான்கு மொழிகளிலும் சராசரி 1.8802; சர்வம் 30பிக்கு 2.0063, ஜெம்மா 3 27பிக்கு 2.1132, ஜிபிடி-ஓஎஸ்எஸ்-20பிக்கு 2.79, மாற்றப்படாத நெமோட்ரானுக்கு 3.1992. மொழிவாரியாக, இந்தி 2.0578 இலிருந்து 1.4899 ஆகவும், வங்காளம் 3.0697 இலிருந்து 1.9709 ஆகவும், தமிழ் 3.7480 இலிருந்து 1.9969 ஆகவும், தெலுங்கு 3.9212 இலிருந்து 2.0632 ஆகவும் குறைகின்றன. இந்தியிலும் (1.4093) வங்காளத்திலும் (1.6942) க்னானியின் சொந்த அட்டவணை சர்வம் 30பியை முன்னால் வைக்கிறது; தனது பயிற்சி எடைகள் திராவிட மொழிகளுக்குச் சாதகமாக இருந்தன என்று பதிவு கூறுகிறது.

க்னானியின் உரை ஓர் இடத்தில் எட்டுப் பொது மாதிரிகளுடனும் மற்றோர் இடத்தில் ஏழுடனும் ஒப்பிட்டதாகக் கூறுகிறது, மொத்தம் ஒன்பது டோக்கனைசர்கள் என்றும் பேசுகிறது; ஆனால் அட்டவணை எட்டு வரிசைகளைப் பட்டியலிடுகிறது, அவற்றில் இரண்டு க்னானியின் சொந்தவை. சர்வம் 30பிக்கும் ஜெம்மா 3 27பிக்கும் இந்தி, வங்காளத்துக்கு ஒரே மதிப்புகளை அட்டவணை தருகிறது. இந்த இரண்டில் எதையும் பதிவு விளக்கவில்லை.

கிருத்ரிமின் மியூட்டன்ட், அட்டவணைகள் ஏன் ஒத்துப்போவதில்லை

மியூட்டன்ட், கிருத்ரிம் ஏஐயின் சௌவிக் ராணா, அருள் மெனசெஸ், ஆஷிஷ் குல்கர்னி, சந்திரா கத்ரி, ஷுபம் அகர்வால் எழுதிய ஆய்வறிக்கை; 2025 நவம்பர் 5 அன்று இண்டிக்சூப்பர்டோக்கனைசர் என்ற தலைப்பில் ஆர்க்ஸிவில் வெளிவந்தது. 2026 மார்ச் 22 அன்று திருத்தப்பட்ட பதிப்பு மியூட்டன்ட் என்ற பெயரைத் தாங்கி, ஒரு செய்முறையை முன்வைக்கிறது: எழுத்துமுறைவாரியாக ஒதுக்கப்படும் சொற்களஞ்சியம், மொழி அறிந்த முன்-டோக்கனாக்கம், இரு கட்டப் பயிற்சி; முதலில் சொல் துண்டுகள், பிறகு அடிக்கடி வரும் பல-சொல் அலகுகள்.

லாமா 4 ஐ விட சராசரி ஃபெர்ட்டிலிட்டி 39.5% சிறப்பு என்றும், ஆசிரியர்கள் தற்போதைய சிறந்தது என்று அழைக்கும் சூத்ரா டோக்கனைசரை விட 18% சிறப்பு என்றும், ஆங்கிலம் மற்றும் இந்திய மொழி அளவுகோல்களில் ஒப்பிடத்தக்க முடிவுகளை வைத்துக்கொண்டு லாமா 4 ஐ விட அனுமானத் திறனில் 44% முன்னேற்றம் என்றும் சுருக்கம் தெரிவிக்கிறது. அந்த ஒப்பீடு ஆங்கிலம், 22 இந்திய மொழிகள், நிரலாக்கக் குறியீடு ஆகியவற்றை உள்ளடக்குகிறது. ஆய்வறிக்கையின் அட்டவணை 3 இல், 24 நெடுவரிசைகளில் 20 இல் மியூட்டன்ட்-இண்டிக் மிகக் குறைந்த ஃபெர்ட்டிலிட்டியைக் கொண்டுள்ளது. தமிழுக்கு லாமா 4 இன் 5.87 க்கு எதிராக 2.12, தெலுங்குக்கு 4.53 க்கு எதிராக 1.88, இந்திக்கு 1.83 க்கு எதிராக 1.23 என்று அது தெரிவிக்கிறது. உரை, ஒரியாவில் லாமா 4 ஐத் தனிப்படுத்திக் காட்டுகிறது; அது 10.51.

மூன்று மூலங்களை ஒரே தரவரிசை அட்டவணையாக இணைக்க முடியாது. மியூட்டன்ட் ஆய்வறிக்கையில் தெலுங்குக்கு ஜிபிடி-ஓஎஸ்எஸ் 3.13 பெறுகிறது, க்னானியின் பதிவில் 3.90. சர்வத்தின் 2024 டோக்கனைசர், தனது பத்து மொழிகளில் 1.4 முதல் 2.1 வரை என்று சர்வத்தாலும், மியூட்டன்ட் அட்டவணையில் தெலுங்குக்கு 2.63 என்றும் தெரிவிக்கப்படுகிறது. ஒவ்வொன்றிலும் சோதனை உரை, மொழிகள், சொல் எண்ணும் முறை வேறுபடுகின்றன; அதனால்தான் ஒரே அட்டவணைக்குள் உள்ள எண்களை மட்டுமே ஒப்பிட முடியும். இந்தக் கட்டுரைக்காகத் திறக்கப்பட்ட மூலங்களில் எதையும் வெளிக் குழு மீளுருவாக்கவில்லை.

குறைந்த டோக்கன்கள் எதை மாற்றுகின்றன, எதைத் தொடாமல் விடுகின்றன

சிறிய டோக்கன் எண்ணிக்கை செலவைக் குறைத்து, சூழல் சாளரத்தில் அதிக உரையைப் பொருத்துகிறது. சிறந்த பதில்கள் தானாக வராது. தாங்கள் சோதித்த அளவுகோல்களில் தங்கள் டோக்கனைசர் முடிவுகளை ஒப்பிடத்தக்கதாக வைத்திருந்தது என்று மியூட்டன்டின் ஆசிரியர்கள் தெரிவிக்கின்றனர்; இத்தகைய எந்த ஆய்வறிக்கையிலும் தேட வேண்டிய கூற்று அதுவே. மாதிரி பார்ப்பதற்கு முன்பே உரையைச் சிதறடிக்கும் டோக்கனைசருக்கு, இந்திய மொழித் தரவில் எவ்வளவு நுண்ணிய பயிற்சி செய்தாலும் ஈடுகட்ட முடியாது என்று க்னானி வாதிடுகிறது.

டோக்கனாக்கம் விலைக்குச் சம்பந்தமில்லாத பணிகளையும் வடிவமைக்கிறது. ஜிபிடி-3.5, ஜிபிடி-4 ஆகியவை எண்களை டோக்கன்களாகப் பிரிக்கும் விதம் எண்கணிதத்தில் அவற்றின் துல்லியத்தை மாற்றுகிறது என்றும், வலமிருந்து இடமாகக் குழுவாக்குவது செயல்திறனை பெருமளவு மேம்படுத்துகிறது என்றும் ஆதித்யா சிங், டிஜே ஸ்ட்ரூஸ் எழுதிய 2024 பிப்ரவரி ஆய்வறிக்கை கண்டறிந்தது.

மற்றக் குழுக்கள் அதே ஒப்பீட்டை இயக்கலாம் என்பதற்காக, தங்கள் மதிப்பீட்டுத் தரவுத்தொகுப்பையும் கட்டமைப்பையும் வெளியிடப்போவதாக மியூட்டன்டின் ஆசிரியர்கள் கூறுகின்றனர்.

Share
Copied!

ஆதாரங்களும் மேலும் வாசிக்கவும்

  1. Gnani AI and NVIDIA, Building a State-of-the-Art Indic Tokenizer for Nemotron 3 Nano (19 May 2026)
  2. Sarvam AI, Sarvam 1: The first Indian language LLM (24 October 2024)
  3. Sarvam AI, Sarvam 30B and Sarvam 105B (6 March 2026)
  4. Rana, Menezes, Kulkarni, Khatri and Agarwal, MUTANT: A Recipe for Multilingual Tokenizer Design (arXiv 2511.03237, v2 of 22 March 2026)
  5. arXiv 2511.03237v1, IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs (5 November 2025)
  6. Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv, 23 May 2023)
  7. ACL Anthology, Ahia et al., EMNLP 2023 proceedings entry
  8. Singh and Strouse, Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (arXiv, 22 February 2024)
  9. OpenAI Help Center, Understanding and counting tokens
  10. Claude Platform Docs, Pricing
  11. Hugging Face Transformers documentation, Tokenization algorithms

இந்தக் கட்டுரை AI கருவிகளின் உதவியுடன் ஆராயப்பட்டு எழுதப்பட்டு, துல்லியத்திற்காகத் திருத்தப்பட்டது. இது பொதுத் தகவலுக்கும் விவாதத்திற்கும் மட்டுமே, தொழில்முறை ஆலோசனை அல்ல. எங்கள் ஆசிரியர் தரநிலைகள் மற்றும் பொறுப்புத் துறப்பு ஐப் பார்க்கவும். பிழை கண்டீர்களா? எங்களிடம் சொல்லுங்கள்.

#tokenizer#fertility#sarvam#gnani ai#indic languages#large language models#krutrim#tamil

பிடித்ததா? அடுத்ததைப் பெறுங்கள்.

ஒரு நேரத்தில் ஒரு நல்ல கட்டுரை, நேரடியாக உங்கள் இன்பாக்ஸுக்கு. ஸ்பேம் இல்லை, எப்போது வேண்டுமானாலும் நிறுத்தலாம்.

இதே பிரிவில் மேலும்: செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்
கூகுளின் எட்டு ஆசிரியர்கள் 2017 ஜூன் 12 அன்று டிரான்ஸ்ஃபார்மர் ஆய்வறிக்கையை வெளியிட்டனர்; அதன் பெரிய மாடல் எட்டு GPU-களில் 3.5 நாட்கள் பயிற்சிக்குப் பிறகு ஆங்கிலத்திலிருந்து ஜெர்மனுக்கான மொழிபெயர்ப்பில் 28.4 BLEU பெற்றது
இன்றைய சாட்பாட்களின் பின்னால் உள்ள வடிவமைப்பின் ஒரு விளக்கம்; ஆய்வறிக்கையின் சொந்த அட்டவணைகளையும், ஆற்றைப் பார்க்க வேண்டிய ஒரு சொல் பற்றிய கூகுளின் சொந்த எடுத்துக்காட்டையும் இது பயன்படுத்துகிறது. 2017 வடிவமைப்பில் பிற்கால மாடல்கள் எவற்றை வைத்துக்கொண்டன, எவற்றை மாற்றின, எவற்றைக் கைவிட்டன என்பதையும் இது சொல்கிறது.
பேட்ரிக் லூயிஸும் 11 இணை ஆசிரியர்களும் 2020 மே 22 அன்று விவரித்த மீட்டெடுப்புடன் கூடிய உருவாக்கம், ஒரு சாட்பாட் பதிலளிக்கும் முன் 2.1 கோடி பத்திகள் கொண்ட அட்டவணையிலிருந்து பத்திகளைத் தேடி எடுக்க உதவுகிறது
ஆவணங்களைப் பார்த்துப் பதிலளிக்கும் சாட்பாட்களுக்குப் பின்னுள்ள நான்கு படிகளின் எளிய சொற்களிலான விளக்கம்: ஒரு விக்கிப்பீடியா தொகுப்பை இன்னொன்றால் மாற்றிய 2020 சோதனை, உரையைத் துண்டுகளாக வெட்டுவதால் சூழல் இழக்கப்படும் விதம், அளவிடப்பட்ட தீர்வுகள்.
சர்வத்தின் Saaras V4 எல்லா 22 அட்டவணை மொழிகளையும் ஐந்து வெளியீட்டு வடிவங்களில் எழுத்தாக்குகிறது; அதன் Bulbul V4 Flash குரல் மாதிரி 250 மில்லி வினாடிக்குள் பேசத் தொடங்குகிறது என்று சர்வம் தெரிவிக்கிறது
ஒரு மாதிரி கேட்கிறது, இன்னொன்று பேசுகிறது; இந்தி, தமிழ், வங்காள மொழியில் ஒரு தொலைபேசி உரையாடலை நடத்த இது போதும். வெளியீட்டு விவரங்கள், இந்தியப் பேச்சை சொல் பிழை விகிதம் தவறாக மதிப்பிடுகிறது என்ற சர்வத்தின் வாதம், கூற்றுகளுக்குப் பின்னால் நிற்கும் பொதுச் சோதனைகள்.
← அனைத்துக் கட்டுரைகள்