Skip to content
கூகுளின் எட்டு ஆசிரியர்கள் 2017 ஜூன் 12 அன்று டிரான்ஸ்ஃபார்மர் ஆய்வறிக்கையை வெளியிட்டனர்; அதன் பெரிய மாடல் எட்டு GPU-களில் 3.5 நாட்கள் பயிற்சிக்குப் பிறகு ஆங்கிலத்திலிருந்து ஜெர்மனுக்கான மொழிபெயர்ப்பில் 28.4 BLEU பெற்றது
செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்

கூகுளின் எட்டு ஆசிரியர்கள் 2017 ஜூன் 12 அன்று டிரான்ஸ்ஃபார்மர் ஆய்வறிக்கையை வெளியிட்டனர்; அதன் பெரிய மாடல் எட்டு GPU-களில் 3.5 நாட்கள் பயிற்சிக்குப் பிறகு ஆங்கிலத்திலிருந்து ஜெர்மனுக்கான மொழிபெயர்ப்பில் 28.4 BLEU பெற்றது

வரைபடம்: tuput

தமிழ்

2017 ஆய்வறிக்கை சொல்லுக்குச் சொல் படிக்கும் முறையைக் கைவிட்டு, ஒரு வாக்கியத்தின் ஒவ்வொரு சொல்லும் மற்ற எல்லாச் சொற்களையும் ஒரே நேரத்தில் பார்க்க அனுமதித்தது. அதன் பெரிய மாடல் முந்தைய சிறந்த ஆங்கிலம்-ஜெர்மன் முடிவுகளை 2 BLEU-க்கு மேல் மிஞ்சியது; லாமா 3, ஜெமினி 1.0, டீப்சீக்-V3, சர்வம் 105B ஆகிய அனைத்தையும் அவற்றின் உருவாக்குநர்களே டிரான்ஸ்ஃபார்மர்கள் என்று விவரிக்கின்றனர்.

· · 8 நிமிட வாசிப்பு

2017 ஜூன் 12 அன்று எட்டு ஆய்வாளர்கள் “Attention Is All You Need” என்ற ஆய்வறிக்கையை arXiv முன்பதிப்புத் தளத்தில் வெளியிட்டனர். அது டிரான்ஸ்ஃபார்மரை விவரித்தது; அதன் சுருக்கத்தின் சொற்களில், இது “மீள்சுழற்சியையும் கன்வல்யூஷன்களையும் முற்றிலும் தவிர்த்து, கவனப் பொறிமுறைகளை மட்டுமே அடிப்படையாகக் கொண்ட” வலையமைப்பு. ஆய்வறிக்கையின் பெரிய மாடல் WMT 2014 ஆங்கிலம்-ஜெர்மன் சோதனையில் 28.4 BLEU பெற்றது; BLEU என்பது மொழிபெயர்ப்புக்கான நிலையான மதிப்பெண், அதிகமாக இருந்தால் நல்லது. தொகுப்பு மாடல்கள் உட்பட முந்தைய சிறந்த முடிவுகளை அது 2 BLEU-க்கு மேல் மிஞ்சியது என்று சுருக்கம் கூறுகிறது; பயிற்சி எட்டு என்விடியா P100 GPU-களில் 3.5 நாட்கள் நடந்தது என்று பிரிவு 6.1 கூறுகிறது.

ஆசிரியர்கள் அஷிஷ் வாஸ்வானி, நோம் ஷசீர், நிக்கி பர்மார், ஜாகோப் உஸ்கோரைட், லியோன் ஜோன்ஸ், எய்டன் கோமஸ், லூகாஷ் கைசர், இல்லியா போலோசுகின்; இவர்கள் கூகுள் பிரெய்ன், கூகுள் ரிசர்ச், டொராண்டோ பல்கலைக்கழகம் ஆகியவற்றின் கீழ் பட்டியலிடப்பட்டுள்ளனர். பட்டியலிடும் வரிசை சீரற்றது என்றும், எட்டுப் பேரும் சமமாகப் பங்களித்தனர் என்றும் ஆய்வறிக்கையின் அடிக்குறிப்பு கூறுகிறது. அது அப்போது NIPS என்று அழைக்கப்பட்ட நரம்பியல் தகவல் செயலாக்க அமைப்புகள் மாநாட்டில், 2017இல் கலிபோர்னியாவின் லாங் பீச்சில் முன்வைக்கப்பட்டது (நடவடிக்கைகள் பக்கம் அதைத் தொகுதி 30இல் பட்டியலிடுகிறது). கட்டமைப்பைத் தேர்ந்தெடுத்த பிறகு என்ன நடக்கிறது என்பதை பெரிய மொழி மாடல் எப்படிப் பயிற்றுவிக்கப்படுகிறது கட்டுரை விளக்குகிறது. இந்தக் கட்டுரை கட்டமைப்பைப் பற்றியது.

ஒரு நேரத்தில் ஒரு சொல்லைப் படிப்பது ஏன் தடையாக இருந்தது

2017க்கு முன் முன்னணி மொழிபெயர்ப்பு அமைப்புகள் மீள்சுழற்சி நரம்பு வலையமைப்புகளைப் பயன்படுத்தின. அவை எப்படி வேலை செய்கின்றன என்பதை ஆய்வறிக்கை விவரிக்கிறது: மீள்சுழற்சி வலையமைப்பு சொற்களை வரிசைப்படி கடந்து, ஒவ்வொரு இடத்திலும் முந்தைய சுருக்கத்திலிருந்தும் தற்போதைய சொல்லிலிருந்தும் கணக்கிடப்பட்ட ஓர் ஓடும் சுருக்கத்தை உருவாக்குகிறது. ஒவ்வொரு படிக்கும் முந்தைய படி தேவைப்படுவதால், இந்த வடிவமைப்பு “பயிற்சி எடுத்துக்காட்டுகளுக்குள் இணைச் செயலாக்கத்தைத் தடுக்கிறது” என்று ஆய்வறிக்கை கூறுகிறது. ஒரு வாக்கியத்துக்கான படிகளை இணையாக இயக்க முடியவில்லை.

ஜாகோப் உஸ்கோரைட் எழுதிய, 2017 ஆகஸ்ட் 31 தேதியிட்ட கூகுள் வலைப்பதிவு ஒரு உறுதியான சூழலைத் தருகிறது. “I arrived at the bank after crossing the…” என்ற வாக்கியத்தில் “bank” என்பது ஆற்றங்கரையா, கடன் தரும் நிறுவனமா என்பதைத் தீர்மானிக்க, வலையமைப்புக்கு வாக்கியத்தின் கடைசிச் சொல்லான “river” அல்லது “road” தேவை. மீள்சுழற்சி வலையமைப்பு “bank”க்கும் “river”க்கும் இடைப்பட்ட ஒவ்வொரு சொல்லையும் படிப்படியாகப் படித்த பிறகே அதைத் தீர்க்க முடியும் என்றும், ஒரு முடிவுக்கு எவ்வளவு அதிகப் படிகள் தேவையோ, அதைக் கற்பது வலையமைப்புக்கு அவ்வளவு கடினம் என்றும் அந்தப் பதிவு கூறுகிறது. பயிற்சிக்குப் பயன்படும் சிப்புகளான GPU-களும் TPU-களும் இணையான வேலையில் சிறந்தவை, தொடர்வரிசை வேலையில் மோசமானவை என்றும் பதிவு சேர்க்கிறது.

மற்றொரு முக்கிய வடிவமைப்பான கன்வல்யூஷன் வலையமைப்புகள் குறைவான தொடர்வரிசை கொண்டவை. ByteNet, ConvS2S எனப்படும் மாடல்களில் தொலைவில் உள்ள இரண்டு சொற்களை இணைக்கத் தேவையான படிகளின் எண்ணிக்கை, சொற்களுக்கு இடையிலான தூரத்துடன் இன்னும் அதிகரிக்கிறது என்று ஆய்வறிக்கை குறிப்பிடுகிறது; ConvS2S-இல் நேர்க்கோட்டிலும், ByteNet-இல் மடக்கை அளவிலும் அது அதிகரிக்கிறது.

டிரான்ஸ்ஃபார்மருக்கு முன்பே கவனம் இருந்தது

கவனம் என்ற எண்ணம் முதலில் வந்தது; அது மீள்சுழற்சி வலையமைப்புகளில் சேர்க்கப்பட்டது. 2014 செப்டம்பர் 1 அன்று திமித்ரி பஹ்டானாவ், கியுங்யுன் சோ, யோஷுவா பெஞ்சியோ ஆகியோர் ஒரு ஆய்வறிக்கையைச் சமர்ப்பித்தனர்; அது பின்னர் ICLR 2015இல் வாய்மொழி விளக்கமாக வழங்கப்பட்டது. நிலையான வடிவமைப்பின் ஒரு பலவீனத்தை அது எடுத்துக்கொண்டது. வழக்கமான என்கோடர்-டீகோடர், டீகோடர் மொழிபெயர்க்கத் தொடங்கும் முன் முழு மூல வாக்கியத்தையும் நிலையான நீளமுள்ள ஒரே வெக்டராக அழுத்தியது. இது ஒரு தடை என்று ஆசிரியர்கள் ஊகித்து, மாடல் எழுதும் ஒவ்வொரு சொல்லுக்கும் முக்கியமான மூல வாக்கிய இடங்களை “மென் தேடல்” செய்ய அனுமதித்தனர். ஆங்கிலம்-பிரெஞ்சில் அப்போதைய சிறந்த சொற்றொடர் அடிப்படையிலான அமைப்புக்கு ஒப்பான மொழிபெயர்ப்புத் தரத்தை அவர்கள் தெரிவிக்கின்றனர்.

ஓராண்டுக்குப் பிறகு ஸ்டான்ஃபோர்டில் மின்-தாங் லுவாங், ஹியூ பாம், கிறிஸ்டோபர் மானிங் ஆகியோர் ஆங்கிலம்-ஜெர்மன் மொழிபெயர்ப்பில் இரண்டு வகைக் கவனத்தைச் சோதித்தனர். கவனம் இல்லாத ஒப்பான அமைப்புகளைவிட 5.0 BLEU கூடுதல் என்றும், WMT 2015 ஆங்கிலம்-ஜெர்மன் பணியில் 25.9 BLEU பெற்ற ஒருங்கிணைந்த மாடல் என்றும் அவர்களின் சுருக்கம் தெரிவிக்கிறது.

அப்போது கவனம் பொதுவாக எப்படிப் பயன்படுத்தப்பட்டது என்பதை டிரான்ஸ்ஃபார்மர் ஆய்வறிக்கை கூறுகிறது: “ஒரு சில சந்தர்ப்பங்களைத் தவிர” அது மீள்சுழற்சி வலையமைப்புடன் இணைந்தே இருந்தது. எட்டு ஆசிரியர்களும் முன்மொழிந்தது கவனத்தை வைத்துக்கொண்டு மீள்சுழற்சிப் பகுதியை நீக்குவது. மீள்சுழற்சி வலையமைப்புகளுக்குப் பதிலாகச் சுய கவனத்தைப் பயன்படுத்தும் யோசனையை முன்மொழிந்த பெருமை உஸ்கோரைட்டுக்கு உண்டு என்று ஆய்வறிக்கையின் பங்களிப்பு அடிக்குறிப்பு கூறுகிறது.

ஒரு சொல் வாக்கியத்தின் மற்றவற்றை எப்படிப் பார்க்கிறது

சுய கவனம் என்பது ஒரே வாக்கியத்துக்குள் பயன்படுத்தப்படும் கவனம். கூகுளின் வலைப்பதிவு அதே “bank” எடுத்துக்காட்டைக் கொண்டு இதை விளக்குகிறது. “bank”இன் சிறந்த பிரதிநிதித்துவத்தைக் கணக்கிட, டிரான்ஸ்ஃபார்மர் அந்தச் சொல்லை வாக்கியத்தில் உள்ள மற்ற ஒவ்வொரு சொல்லுடனும் ஒப்பிடுகிறது. ஒவ்வோர் ஒப்பீடும் ஒரு கவன மதிப்பெண்ணைத் தருகிறது. ஒவ்வொரு மற்றச் சொல்லும் எவ்வளவு பங்களிக்கிறது என்பதை மதிப்பெண்கள் தீர்மானிக்கின்றன; அதனால் “river”க்கு உயர்ந்த மதிப்பெண் கிடைக்கலாம். பிறகு மாடல் எல்லாச் சொற்களின் பிரதிநிதித்துவங்களின் எடையிட்ட சராசரியை எடுத்து, ஒரு சிறிய ஃபீட்-ஃபார்வர்ட் வலையமைப்பின் வழியே செலுத்தி புதிய பிரதிநிதித்துவத்தை உருவாக்குகிறது. ஒவ்வொரு சொல்லும் மற்ற ஒவ்வொரு சொல்லையும் நேரடியாகப் பார்க்க முடிவதால், மாடல் “river”ஐக் கவனித்து ஒரே படியில் முடிவு செய்ய முடியும் என்று பதிவு கூறுகிறது.

ஒப்பீட்டின் பகுதிகளுக்கு ஆய்வறிக்கை பெயரிடுகிறது. ஒரு கவனச் செயல்பாடு ஒரு வினவலையும் (query) ஒரு விசை-மதிப்பு (key-value) ஜோடிகளின் தொகுப்பையும் ஒரு வெளியீட்டுடன் இணைக்கிறது; வெளியீடு என்பது மதிப்புகளின் எடையிட்ட கூட்டுத்தொகை. ஒவ்வொரு மதிப்புக்குமான எடை, அந்த மதிப்பின் விசையுடன் வினவலை ஒப்பிடுவதிலிருந்து வருகிறது. இதைப் புரிந்துகொள்ள ஒரு வழி: ஒவ்வொரு சொல்லும் ஒரு கேள்வியைக் கேட்கிறது (வினவல்), வாக்கியத்தில் உள்ள ஒவ்வொரு சொல்லும் ஒரு லேபிளையும் (விசை) சிறிது உள்ளடக்கத்தையும் (மதிப்பு) வழங்குகிறது, மிகப் பொருந்தும் லேபிள்கள் அதிக உள்ளடக்கத்தைப் பங்களிக்கின்றன. ஆய்வறிக்கையின் வடிவம் வினவலை விசைகளால் பெருக்கி, விசை அளவின் வர்க்கமூலத்தால் வகுத்து, முடிவுகளைக் கூட்டுத்தொகை ஒன்றாக வரும் எடைகளாக மாற்றுகிறது.

இந்த வகுத்தலுக்கு ஒரு காரணம் உண்டு; அதை ஆசிரியர்கள் ஒரு சந்தேகமாகவே கூறுகின்றனர்: பெரிய விசைகளுடன் பெருக்கற்பலன்கள் பெரிதாகி, எடையிடும் செயல்பாட்டை மிக மெதுவாகக் கற்கும் ஒரு பகுதிக்குத் தள்ளுகின்றன. மொழிபெயர்ப்பை ஒரு நேரத்தில் ஒரு சொல்லாக எழுதும் டீகோடர், பின்வரும் இடங்களைத் தனக்குத்தானே மறைத்துக்கொள்கிறது; அதனால் ஒரு கணிப்பு ஏற்கெனவே தெரிந்த சொற்களை மட்டுமே சார்ந்திருக்கும்.

கூகுளின் பதிவு இரண்டாவது எடுத்துக்காட்டையும் தருகிறது: ஒரு வாக்கியத்தில் “it” விலங்கைக் குறிக்கிறது, மற்றொன்றில் தெருவைக் குறிக்கிறது. பிரெஞ்சில் மொழிபெயர்ப்பது பெயர்ச்சொல்லின் பாலைச் சார்ந்தது, அங்கே “animal”க்கும் “street”க்கும் பால் வேறுபடுகிறது என்று பதிவு கூறுகிறது. கூகுளின் கணக்குப்படி, அப்போது பயன்பாட்டில் இருந்த கூகுள் மொழிபெயர்ப்பு மாடல் தவறவிட்ட இடத்தில் டிரான்ஸ்ஃபார்மர் இரண்டு வாக்கியங்களையும் சரியாக மொழிபெயர்த்தது; ஒரு கவனத் தலையின் வரைபடம், ஒவ்வொரு பெயர்ச்சொல்லுக்கும் செலுத்தப்பட்ட கவனம் சூழலுக்கு ஏற்ப மாறுவதைக் காட்டியது. இது ஒரு வாக்கிய ஜோடியில் கூகுளின் சொந்த விளக்கக்காட்சி, சுயாதீனச் சோதனை அல்ல.

எட்டுத் தலைகளும், சொல் வரிசைக்கு ஒரு தந்திரமும்

எல்லாச் சொற்களையும் ஒரே கலவையாகச் சராசரி எடுத்தால் விவரம் இழக்கப்படும்; அதனால் ஆய்வறிக்கை பல கவனச் செயல்பாடுகளைப் பக்கவாட்டில் இயக்குகிறது; இதைப் பல தலை கவனம் என்கிறது. அடிப்படை மாடல் எட்டுத் தலைகளைப் பயன்படுத்துகிறது. ஒவ்வொன்றும் 512 எண்கள் கொண்ட பிரதிநிதித்துவத்தின் 64 எண்கள் துண்டில் வேலை செய்கிறது; முடிவுகள் இறுதியில் சேர்க்கப்படுகின்றன; அதனால் மொத்தச் செலவு முழு அகலத்தில் வேலை செய்யும் ஒரே தலைக்கு அருகிலேயே இருக்கும்.

ஆய்வறிக்கையின் அட்டவணை 3 இந்தத் தேர்வை ஒரு மேம்பாட்டுத் தொகுப்பில் சோதிக்கிறது (2014 செய்திச் சோதனைத் தொகுப்பு அல்ல, 2013 தொகுப்பு). ஒரே தலை சிறந்த அமைப்பைவிட 0.9 BLEU குறைவாகப் பெற்றது; தலைகள் மிக அதிகமாக இருந்தாலும் தரம் குறைந்தது. தனித்தனித் தலைகள் வெவ்வேறு வேலைகளைக் கற்பதாகத் தெரிகிறது என்றும், பலவும் வாக்கியங்களின் இலக்கணத்துடனும் பொருளுடனும் தொடர்புடையவை போலத் தோன்றுகின்றன என்றும் சுய கவனம் பற்றிய தமது விவாதத்தில் ஆசிரியர்கள் சேர்க்கின்றனர். இது கவன வரைபடங்களைப் பார்த்துக் கண்ட கவனிப்பு, நிரூபணம் அல்ல.

மீள்சுழற்சி இல்லாத வலையமைப்புக்குச் சொல் வரிசை பற்றிய உணர்வு இல்லை; ஏனெனில் எல்லாச் சொற்களும் ஒன்றாகவே பார்க்கப்படுகின்றன. ஒவ்வொரு சொல்லின் பிரதிநிதித்துவத்துடனும் இட விவரத்தைச் சேர்த்து, வெவ்வேறு அலைநீளங்களில் சைன், கொசைன் அலைகளைப் பயன்படுத்தி ஆசிரியர்கள் இதைச் சரிசெய்தனர். இடங்களைக் கற்கவும் அவர்கள் முயன்றனர்; இரண்டு பதிப்புகளும் கிட்டத்தட்ட ஒரே முடிவுகளைத் தந்தன: மேம்பாட்டுத் தொகுப்பில் அடிப்படை மாடலுக்கு 25.7 BLEU, மற்றதற்கு 25.8. பயிற்சியில் கண்ட எந்த வாக்கியத்தைவிடவும் நீளமான வாக்கியங்களை அது கையாளக்கூடும் என்பதால் அவர்கள் சைன் பதிப்பை வைத்துக்கொண்டனர்.

2017 வடிவமைப்பில் பிற்கால மாடல்கள் மாற்றிய ஒரு பகுதி இது. சர்வத்தின் 2026 மார்ச் வலைப்பதிவு தனது மாடல்களின் அம்சங்களில் சுழல் இடக் குறியாக்கங்களைப் (rotary positional embeddings) பட்டியலிடுகிறது; நீண்ட சூழல்களுக்கு ஆதரவாக தனது சுழல் குறியாக்கங்களின் அடிப்படை அதிர்வெண்ணை 500,000 ஆக உயர்த்தியதாக மெட்டாவின் லாமா 3 ஆய்வறிக்கை கூறுகிறது.

ஏன் வேகமாகப் பயிற்சி பெற்றது

ஆய்வறிக்கையின் அட்டவணை 1 அடுக்கு வகைகளை ஒப்பிடுகிறது. ஒரு சுய கவன அடுக்கு எந்த இரண்டு இடங்களையும் நிலையான எண்ணிக்கையிலான தொடர்வரிசைச் செயல்பாடுகளில் இணைக்கிறது; மீள்சுழற்சி அடுக்குக்கு வாக்கிய நீளத்துடன் அதிகரிக்கும் எண்ணிக்கை தேவை. ஆய்வறிக்கையின் அடிப்படை மாடல் எட்டு என்விடியா P100 GPU-கள் கொண்ட ஒரு இயந்திரத்தில் 1,00,000 படிகள், சுமார் 12 மணி நேரம், பயிற்சி பெற்றது. பெரிய மாடல் 3,00,000 படிகள், 3.5 நாட்கள் எடுத்தது. பயிற்சி ஒரு அளவு வரிசை (order of magnitude) வரை வேகமடைந்ததாக கூகுளின் வலைப்பதிவு கூறுகிறது; இது கூகுளின் சொந்தச் சோதனைகளிலிருந்து வந்த கூற்று.

பிற்காலத் தரங்களுடன் ஒப்பிட்டால் மாடல் சிறியது. அட்டவணை 3 அடிப்படை மாடலுக்கு 65 மில்லியன் அளவுருக்களையும் (வலையமைப்புக்குள் உள்ள சரிசெய்யக்கூடிய எண்கள்), பெரியதற்கு 213 மில்லியனையும் பட்டியலிடுகிறது. ஏழு ஆண்டுகளுக்குப் பிறகு விவரிக்கப்பட்ட மெட்டாவின் லாமா 3 முதன்மை மாடலுக்கு 405 பில்லியன் உள்ளன; அது சுமார் 1,900 மடங்கு.

சுய கவனத்துக்கும் அதற்கே உரிய செலவு உண்டு. ஒவ்வொரு சொல்லையும் மற்ற ஒவ்வொரு சொல்லுடனும் ஒப்பிடுவதால், ஓர் அடுக்குக்கான வேலை வாக்கிய நீளத்தின் வர்க்கத்துடன் வளர்கிறது; வாக்கியம் பிரதிநிதித்துவ அகலத்தைவிடக் குறைவாக இருக்கும்போது மட்டுமே சுய கவனம் மீள்சுழற்சி அடுக்கைவிடச் செலவு குறைவு என்று ஆய்வறிக்கை கூறுகிறது. மிக நீண்ட உள்ளீடுகளுக்கு, அருகிலுள்ள சொற்களின் சுற்றுவட்டாரத்துக்குள் கவனத்தைக் கட்டுப்படுத்துமாறு, எதிர்காலப் பணியாக, ஆசிரியர்கள் பரிந்துரைத்தனர். நீண்ட உரைகளில் தாமதமாகப் பயிற்சி அளிப்பதற்கு மெட்டாவின் ஆய்வறிக்கையும் அதே காரணத்தைத் தருகிறது: சுய கவனக் கணக்கீடு வரிசை நீளத்துடன் இருமடங்காக வளர்கிறது; அதனால் லாமா 3 தனது 1,28,000-டோக்கன் சூழலை முன்பயிற்சியின் இறுதிக் கட்டங்களில் எட்டியது.

எண்கள், வேறுபடும் ஒன்று

ஆய்வறிக்கையின் முக்கிய முடிவுகள் WMT 2014 மொழிபெயர்ப்புப் பணியின் newstest2014 தொகுப்புகளில் உள்ளன. ஆங்கிலம்-ஜெர்மனுக்கு, அட்டவணை 2 பெரிய மாடலை 28.4 BLEU எனக் காட்டுகிறது; முந்தைய சிறந்த பதிவான ConvS2S மாடல்களின் தொகுப்பு 26.36. ஆங்கிலம்-பிரெஞ்சுக்கு, சுருக்கமும் அட்டவணை 2-உம் ஒரே மாடலுக்கு 41.8 BLEU தருகின்றன; அதே ஆய்வறிக்கையின் பிரிவு 6.1இல் உள்ள ஒரு வாக்கியம் 41.0 என்கிறது. அட்டவணையும் சுருக்கமும் ஒன்றுக்கொன்று ஒத்துப்போகின்றன, உரை வேறுபடுகிறது; எனவே சுருக்கத்தில் உள்ளபடி இந்த எண் மேற்கோள் காட்டப்படுகிறது, முரண்பாடு குறிப்பிடப்படுகிறது.

வேறொரு பணியிலும் ஆசிரியர்கள் மாடலைச் சோதித்தனர்: வாக்கியத்தின் இலக்கண அமைப்புக்குக் குறிச்சொல்லிடும் ஆங்கிலத் தொகுதி பகுப்பாய்வு. நான்கு அடுக்கு டிரான்ஸ்ஃபார்மர் வால் ஸ்ட்ரீட் ஜர்னல் தரவில் மட்டும் பயிற்சி பெற்றபோது 91.3 F1 பெற்றது; கூடுதல் அரை-மேற்பார்வைத் தரவுடன் 92.7. மீள்சுழற்சி நரம்பு வலையமைப்பு இலக்கணம் என்ற ஒன்றைத் தவிர, முந்தைய அறிவிக்கப்பட்ட எல்லா மாடல்களையும் இது மிஞ்சியது என்று ஆய்வறிக்கை கூறுகிறது. அதே வலையமைப்பு, சிறிய மாற்றங்களுடன், ஒன்றைத் தவிர முந்தைய எல்லா அணுகுமுறைகளையும் மிஞ்சியது என்று கூகுளின் பதிவு கூறுகிறது.

முடிவுகள் ஆசிரியர்களுடையவை; வெளியிடப்பட்ட எண்களுக்கு எதிராக அளவிடப்பட்டவை. ஆய்வறிக்கையின் குறியீடு tensor2tensor நூலகத்தில் வெளியிடப்பட்டது; ஹார்வர்ட் NLP-யின் Annotated Transformer அந்த மாடலை வரிக்கு வரி, இயக்கக்கூடிய நோட்புக்காக மீண்டும் செயல்படுத்துகிறது.

லாமா, ஜெமினி, டீப்சீக், சர்வத்தில் எது நிலைத்தது, எது மாறியது

உரைக்கு அப்பால், படங்கள், ஒலி, காணொளி வரை டிரான்ஸ்ஃபார்மரை விரிவுபடுத்தத் திட்டமிட்டிருந்ததாக ஆய்வறிக்கையின் முடிவுரை கூறுகிறது. அந்தப் பணி ஏற்கெனவே தொடங்கிவிட்டதாகக் கூகுளின் 2017 பதிவு கூறியது. 2018 அக்டோபருக்குள் கூகுளின் BERT ஆய்வறிக்கை தனது மாடலை பல அடுக்கு இருதிசை டிரான்ஸ்ஃபார்மர் என்கோடர் என்று அழைத்தது; OpenAI-யின் GPT-ஐ, ஒவ்வொரு டோக்கனும் முந்தையவற்றை மட்டுமே கவனிக்கும் இடமிருந்து வலமான டிரான்ஸ்ஃபார்மர் என்று விவரித்தது. அதன் பின் வந்த மாடல்களை GPT போன்றவை, BERT போன்றவை, தொடர்வரிசை-தொடர்வரிசை குடும்பங்கள் எனும் வகைகளாக ஹக்கிங் ஃபேஸ் பாடநெறி தொகுக்கிறது.

இன்றைய பெரிய மாடல்களின் உருவாக்குநர்கள் தங்கள் சொந்தப் பணியை அதே சொற்களில் விவரிக்கின்றனர். லாமா 3 “ஒரு நிலையான, அடர்த்தியான டிரான்ஸ்ஃபார்மர் கட்டமைப்பைப் பயன்படுத்துகிறது” என்றும், அதன் முன்னேற்றம் முக்கியமாகத் தரவின் தரம், பன்முகத்தன்மை, அளவு ஆகியவற்றிலிருந்து வருகிறது என்றும் மெட்டாவின் ஆய்வறிக்கை கூறுகிறது. பயிற்சி நிலைத்தன்மைக்காக நிபுணர்களின் கலவையைவிட அடர்த்தியான மாடலை மெட்டா தேர்ந்தெடுத்தது. அதன் சிறிய மாற்றங்களில், மாடல் எழுதும்போது அது வைத்திருக்கும் நினைவகத்தைக் குறைக்க, 8 விசை-மதிப்புத் தலைகளுடன் குழுவாக்கிய வினவல் கவனம் உள்ளது. கூகுளின் ஜெமினி அறிக்கை, ஜெமினி மாடல்கள் நிலையான பயிற்சிக்கும் கூகுளின் TPU சிப்புகளுக்குமான மேம்பாடுகளுடன் “டிரான்ஸ்ஃபார்மர் டீகோடர்களின் மேல் கட்டப்படுகின்றன” என்று கூறி, அவற்றில் பல-வினவல் கவனத்தைப் பெயரிடுகிறது.

டீப்சீக்கின் V3 அறிக்கை, அதன் அடிப்படைக் கட்டமைப்பு டிரான்ஸ்ஃபார்மர் கட்டமைப்புக்குள்ளேயே உள்ளது என்கிறது; அதில் பல தலை மறைநிலை கவனம் (multi-head latent attention) உள்ளது; அதை நினைவகப் பயன்பாட்டைக் குறைக்கும் அழுத்தப்பட்ட கவன வடிவம் என்று சர்வம் விவரிக்கிறது; மேலும் நிபுணர்களின் கலவை ஃபீட்-ஃபார்வர்ட் அடுக்கும் உள்ளது. மாடலில் மொத்தம் 671 பில்லியன் அளவுருக்கள் உள்ளன; ஒவ்வொரு டோக்கனுக்கும் 37 பில்லியன் பயன்படுத்தப்படுகின்றன. சர்வம் AI தனது 30 பில்லியன், 105 பில்லியன் அளவுரு மாடல்களை 128 நிபுணர்கள் கொண்ட நிபுணர்களின் கலவை டிரான்ஸ்ஃபார்மர் முதுகெலும்பு என்று விவரிக்கிறது. 30B குழுவாக்கிய வினவல் கவனத்தையும், 105B பல தலை மறைநிலை கவனத்தையும் பயன்படுத்துகின்றன. இரண்டும் இந்தியாவில், இந்தியா AI இயக்கத்தின்கீழ் வழங்கப்பட்ட கணினி வளத்தில் பயிற்சி பெற்று, Apache 2.0 உரிமத்தில் வெளியிடப்பட்டன என்று சர்வம் கூறுகிறது; இது இந்தியா AI இயக்கக் கட்டுரையிலும் இந்தியா தனது சொந்த மொழிகளில் AI உருவாக்குவது பற்றிய கட்டுரையிலும் விவரிக்கப்பட்டுள்ளது. டிரான்ஸ்ஃபார்மர் எதற்காக உருவாக்கப்பட்டதோ அந்த மொழிபெயர்ப்பு, 22 அட்டவணை இந்திய மொழிகளுக்கான திறந்த மொழிபெயர்ப்பு மாடல்களை விவரிக்கும் பாஷினி, AI4Bharat கட்டுரையின் பொருளும் ஆகும்.

இவை ஒவ்வொன்றிலும் 2017இன் சுய கவன அடுக்கே இன்னும் மையமாக உள்ளது; மாற்றங்கள் விசைகளும் மதிப்புகளும் எப்படிச் சேமிக்கப்படுகின்றன, இடங்கள் எப்படிக் குறியாக்கப்படுகின்றன, ஒற்றை ஃபீட்-ஃபார்வர்ட் அடுக்குக்குப் பதிலாக எது வருகிறது என்பவற்றில் உள்ளன. 2017 பெரிய மாடலில் 6 அடுக்குகளும் 16 தலைகளும் இருந்தன; மெட்டாவின் ஆய்வறிக்கை லாமா 3 405Bக்கு 126 அடுக்குகளையும் 128 கவனத் தலைகளையும் தருகிறது.

Share
Copied!

ஆதாரங்களும் மேலும் வாசிக்கவும்

  1. Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (submitted 12 June 2017, abstract page)
  2. Vaswani et al.: Attention Is All You Need, full paper as presented at NIPS 2017 (PDF)
  3. NeurIPS Proceedings: Attention is All you Need (Advances in Neural Information Processing Systems 30, 2017)
  4. Google Research blog, Jakob Uszkoreit: Transformer, A Novel Neural Network Architecture for Language Understanding (31 August 2017)
  5. Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473 (submitted 1 September 2014, ICLR 2015)
  6. Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate (full paper, PDF)
  7. Luong, Pham and Manning, Stanford: Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 (2015)
  8. Devlin et al., Google AI Language: BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805
  9. Gemini Team, Google: Gemini, A Family of Highly Capable Multimodal Models, arXiv:2312.11805
  10. Llama Team, AI @ Meta: The Llama 3 Herd of Models, arXiv:2407.21783 (23 July 2024)
  11. DeepSeek-AI: DeepSeek-V3 Technical Report, arXiv:2412.19437
  12. Sarvam AI: Open-Sourcing Sarvam 30B and 105B (6 March 2026)
  13. Harvard NLP and collaborators: The Annotated Transformer (line-by-line implementation of the paper)
  14. Hugging Face LLM Course: How do Transformers work?

இந்தக் கட்டுரை AI கருவிகளின் உதவியுடன் ஆராயப்பட்டு எழுதப்பட்டு, துல்லியத்திற்காகத் திருத்தப்பட்டது. இது பொதுத் தகவலுக்கும் விவாதத்திற்கும் மட்டுமே, தொழில்முறை ஆலோசனை அல்ல. எங்கள் ஆசிரியர் தரநிலைகள் மற்றும் பொறுப்புத் துறப்பு ஐப் பார்க்கவும். பிழை கண்டீர்களா? எங்களிடம் சொல்லுங்கள்.

#transformer#attention is all you need#self-attention#neural machine translation#large language models#google research#sarvam ai#deep learning

பிடித்ததா? அடுத்ததைப் பெறுங்கள்.

ஒரு நேரத்தில் ஒரு நல்ல கட்டுரை, நேரடியாக உங்கள் இன்பாக்ஸுக்கு. ஸ்பேம் இல்லை, எப்போது வேண்டுமானாலும் நிறுத்தலாம்.

இதே பிரிவில் மேலும்: செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்
OpenAI இன் 2020 அளவு விதிகள் ஆய்வுக் கட்டுரை, மாதிரியின் இழப்பு ஏழுக்கும் மேற்பட்ட பத்து மடங்கு நிலைகளில் அடுக்கு விதியாகக் குறைவதைக் கண்டறிந்தது; டீப்மைண்டின் 2022 சின்சில்லா கட்டுரை, அதே கம்ப்யூட்டில் 70 பில்லியன் அளவுருக்கள் கொண்ட மாதிரி 280 பில்லியன் அளவுருக்கள் கொண்டதை வெல்ல முடியும் என்று காட்டியது
ஒரு மாதிரியின் அளவு, அதன் பயிற்சி உரை, அதன் கம்ப்யூட் செலவு ஆகியவற்றை ஒன்றுக்கொன்று ஈடுசெய்து மாற்றலாம். ஒவ்வொரு கட்டுரையும் எதை அளந்தது, அது அச்சிட்ட எண்கள், ஒரு மறுபடியும் செய்து பார்க்கும் முயற்சி, விதிகள் எவ்வளவு தூரம் பொருந்தும் என்று 2026 பாதுகாப்பு அறிக்கை என்ன சொல்கிறது என்பது இங்கே.
மெட்டா Llama 3 405B மாதிரியை 15.6 டிரில்லியன் டோக்கன்களிலும் 30.84 மில்லியன் GPU மணி நேரங்களிலும் பயிற்றுவித்தது; ஓப்பன்ஏஐயின் மனிதத் தரப்படுத்துநர்கள் 175 பில்லியன் அளவுருக்கள் கொண்ட GPT-3 ஐ விட, 1.3 பில்லியன் அளவுருக்கள் கொண்ட செம்மைப்படுத்திய மாதிரியையே விரும்பினர்
ஐந்து ஆய்வறிக்கைகளும் ஒரு மாதிரி அட்டையும் ஒரு சாட்பாட்டின் அடிப்படை மாதிரியை உருவாக்கும் ஒவ்வொரு கட்டத்தையும் விவரிக்கின்றன. அந்தக் கட்டங்கள் வரிசையாக இங்கே, ஆய்வகங்களே வெளியிட்ட அளவுருக்கள், டோக்கன்கள், GPU மணி நேரங்கள், சோதனை முடிவுகளுடன்.
Sarvam இன் 105 பில்லியன் அளவுரு மாதிரி ஒவ்வொரு டோக்கனுக்கும் அவற்றில் 10.3 பில்லியனைக் கொண்டு கணக்கிடுகிறது; 1991 ஆய்வறிக்கையிலிருந்து Mixtral, DeepSeek வரை செல்லும் நிபுணர்களின் கலவை (mixture of experts) வடிவமைப்பை அது பயன்படுத்துகிறது
ஒரு சிறிய வழிப்படுத்தி ஒவ்வொரு சொல்லையும் 128 துணை வலையமைப்புகளில் சிலவற்றுக்கு அனுப்புகிறது; அதனால் ஒரு சொல்லுக்கு மாதிரியின் பெரும்பகுதி சும்மா இருக்கிறது. இந்த வடிவமைப்பு எங்கிருந்து வந்தது, Mixtral, DeepSeek, Sarvam அதை எப்படிப் பயன்படுத்துகின்றன, அது எதைச் சேமிக்கவில்லை என்பது இங்கே.
← அனைத்துக் கட்டுரைகள்