Skip to content
2022 இல் 175 பில்லியன் அளவுருக்கள் கொண்ட மாதிரியை ஒரே 80 GB GPU இல் இயக்க குவாண்டைசேஷன் உதவியது; 2023 இல் 65 பில்லியன் அளவுரு மாதிரியை 48 GB இல் ஃபைன்-டியூன் செய்ய QLoRA உதவியது
செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்

2022 இல் 175 பில்லியன் அளவுருக்கள் கொண்ட மாதிரியை ஒரே 80 GB GPU இல் இயக்க குவாண்டைசேஷன் உதவியது; 2023 இல் 65 பில்லியன் அளவுரு மாதிரியை 48 GB இல் ஃபைன்-டியூன் செய்ய QLoRA உதவியது

வரைபடம்: tuput

தமிழ்

2022, 2023 ஆண்டுகளின் நான்கு ஆய்வுக் கட்டுரைகள், 8-பிட் LLM.int8 முதல் 4-பிட் GPTQ, AWQ, QLoRA வரை, ஒரு பெரிய மொழி மாதிரிக்குத் தேவையான நினைவகத்தைக் குறைத்தன. ஒவ்வொரு கட்டுரையும் ஆசிரியர்களின் சொந்த எண்களில் எதை அளந்தது, இப்போது எந்த வடிவங்கள் பயன்பாட்டில் உள்ளன என்பது இங்கே.

· · 8 நிமிட வாசிப்பு

2022 ஆகஸ்டில் டிம் டெட்மர்ஸ், மைக் லூயிஸ், யூனெஸ் பெல்காடா, லூக் ஸெட்டில்மாயர் ஆகியோர் ஒரு மொழி மாதிரியின் எடைகளை 16 பிட்களுக்குப் பதிலாக 8 பிட்களில் சேமிக்கும் வழியை அறிவித்தனர். தங்கள் சோதனைகளில், 175 பில்லியன் அளவுருக்கள் வரை, துல்லியம் எதுவும் குறையாமல் அதை இயக்கத் தேவையான நினைவகம் பாதியாகக் குறைந்தது. 2022 அக்டோபரில் ETH சூரிக், IST ஆஸ்திரியா குழு GPTQ ஐ வெளியிட்டது; அது எடைகளை 3 அல்லது 4 பிட்களுக்குக் கொண்டுவந்து, 175 பில்லியன் அளவுருக்கள் கொண்ட OPT மாதிரியை ஒரே 80 GB கிராபிக்ஸ் அட்டையில் இயக்கியது. 2023 மேயில் QLoRA கட்டுரை, 65 பில்லியன் அளவுரு மாதிரியை ஒரே 48 GB அட்டையில் ஃபைன்-டியூன் செய்தது; சாதாரண 16-பிட் வடிவத்தில் இந்த வேலைக்கு 780 GB க்கும் மேல் தேவை என்று அதன் ஆசிரியர்கள் கூறுகின்றனர்.

இவை அனைத்தும் குவாண்டைசேஷன்: ஒரு மாதிரியின் எண்களைக் குறைவான பிட்களில் சேமித்தல். எடைகளைக் குறைந்த துல்லியத்தில் வைத்து, முடிந்தவரை துல்லியத்தைக் காப்பாற்ற முயன்றபடி, ஒரு மாதிரியை ஏற்றவும் பயன்படுத்தவும் தேவையான நினைவகத்தைக் குறைப்பது என்று Hugging Face ஆவணங்கள் அதை விவரிக்கின்றன. இந்தக் கட்டுரை ஆய்வுக் கட்டுரைகளை வரிசைப்படி பார்க்கிறது, ஒவ்வொன்றும் எதை அளந்தது என்பதைச் சொல்கிறது, எந்தக் கூற்றுகள் ஆசிரியர்களிடமிருந்தோ வன்பொருளை விற்கும் நிறுவனத்திடமிருந்தோ மட்டுமே வருகின்றன என்பதையும் குறிக்கிறது.

ஒரு எடை என்பது ஒரு எண்; பிட்கள் அது எவ்வளவு நுணுக்கமாக எழுதப்படுகிறது என்பதை முடிவு செய்கின்றன

ஒரு மொழி மாதிரியின் அளவுருக்கள், எடைகள் என்றும் அழைக்கப்படுபவை, அது பயிற்சியில் கற்ற எண்கள். GPT-3 இல் அவை 175 பில்லியன் உள்ளன. ஒவ்வொன்றும் இரண்டு பைட் (16 பிட்) எனில் அது 350 GB; AWQ கட்டுரை தரும் எண் இதுவே. GPTQ கட்டுரை 326 GB என்று எண்ணுகிறது, ஏனெனில் அது பைனரி ஜிகாபைட்களைப் பயன்படுத்துகிறது. இது மிக உயர்தர ஒற்றை கிராபிக்ஸ் அட்டையின் கொள்ளளவையும் மீறுகிறது என்று GPTQ ஆசிரியர்கள் கூறுகின்றனர்; Nvidia வின் புதிய B200 இல் 192 GB உள்ளது என்று AWQ கட்டுரை குறிப்பிடுகிறது.

ஒரு 16-பிட் எண் 65,536 வெவ்வேறு வடிவங்களை எடுக்கலாம்; 8-பிட் எண் 256, 4-பிட் எண் 16. இது எளிய கணிதம், இதுவே முழு பரிமாற்றம். 4-பிட் மிதவைப்புள்ளி மதிப்பு கொள்ளக்கூடிய அளவுகளை NVIDIA வின் NVFP4 பதிவு பட்டியலிடுகிறது: குறியுடன் 0, 0.5, 1, 1.5, 2, 3, 4, 6. ஒரு அணியின் மிகப் பெரிய மதிப்பு வரம்பின் உச்சியில் விழும்படி அது அளவிடப்பட்ட பிறகு, அணியிலுள்ள ஒவ்வொரு எடையும் அந்தச் சில புள்ளிகளில் ஒன்றுக்கு முழுமையாக்கப்பட வேண்டும்.

இது எந்தக் கட்டுரையிலிருந்தும் எடுக்காத, கற்பனையான எடுத்துக்காட்டு. எடைகளின் ஒரு வரிசையில் 0.02, 0.4 அருகிலான மதிப்புகளும் 12 இல் ஒன்றும் இருந்தால், 8 பிட்டுக்கு அளவிடும்போது வரம்பு முழுவதும் சுமார் 0.09 படிகள் வரும்; 0.02 பூஜ்யமாக முழுமையாகிவிடும். ஒரு பெரிய மதிப்பு, மற்ற அனைத்துக்குமான கட்டத்தைக் கரடுமுரடாக்குகிறது. கீழே உள்ள முறைகள் இதைக் கையாளும் வெவ்வேறு வழிகள்.

உண்மையான வடிவங்கள் அளவீட்டு மாறிலிகளையும் கொண்டிருப்பதால், “4-பிட்” என்பது நான்கைவிடச் சற்று அதிகம். Llama 3.1 8B ஐ llama.cpp README அட்டவணைப்படுத்துகிறது: 16 பிட்டில் ஒரு எடைக்கு 16.0005 பிட், 14.96 GiB; அதன் 8-பிட் வடிவமான Q8_0 இல் 8.5008 பிட், 7.95 GiB; அதன் எடுத்துக்காட்டுகள் பயன்படுத்தும் 4-பிட் வடிவமான Q4_K_M இல் 4.8944 பிட், 4.58 GiB. NVIDIA வின் NVFP4, ஒவ்வொரு 16 மதிப்புக்கும் ஒரு 8-பிட் அளவீட்டைச் சேமிக்கிறது; அதை ஒரு மதிப்புக்கு 4.5 பிட் என்று அது கணக்கிடுகிறது.

LLM.int8(): 8-பிட்டை உடைத்த 0.1 சதவீத மதிப்புகள்

2022 NeurIPS இல் வழங்கப்பட்ட LLM.int8() கட்டுரை ஒரு தோல்வியிலிருந்து தொடங்குகிறது. முந்தைய 8-பிட் முறைகள் 350 மில்லியனுக்குக் குறைவான அளவுருக்கள் கொண்ட மாதிரிகளில் மட்டுமே ஆராயப்பட்டிருந்தன; மாதிரிகள் வளரும்போது எளிய 8-பிட் முழுமையாக்கல் தோற்றது என்று ஆசிரியர்கள் கண்டனர். சுமார் 6.7 பில்லியன் அளவுருக்களிலிருந்து, ஒரு சில மறைந்த பரிமாணங்கள் மற்றவற்றைவிட 20 மடங்கு பெரிய மதிப்புகளைக் கொண்டிருக்கின்றன. 6.7 பில்லியனில், ஒரு தொடருக்கு சுமார் 150,000 இத்தகைய வெளிப்புள்ளிகள் இருப்பதாகவும், அவை வெறும் 6 அம்சப் பரிமாணங்களில் குவிந்திருப்பதாகவும் அவர்கள் தெரிவிக்கின்றனர். அந்தப் பரிமாணங்களைப் பூஜ்யமாக்கியது, குறைவான மதிப்பே நல்லது என்ற மதிப்பெண்ணான பெர்ப்ளெக்ஸிட்டியை 600 முதல் 1,000 சதவீதம் கெடுத்தது; ஆனால் அவை அம்சங்களில் சுமார் 0.1 சதவீதம் மட்டுமே.

தீர்வு ஒரு பிரிப்பு. 6 அல்லது அதற்கு மேல் அளவுள்ள மதிப்பைக் கொண்ட பரிமாணங்கள் 16-பிட்டிலும், மீதமுள்ள சுமார் 99.9 சதவீதம் 8-பிட்டிலும், ஒவ்வொரு உள் பெருக்கலுக்கும் தனி அளவீட்டுடன் பெருக்கப்படுகின்றன. கட்டுரையின் C4 சோதனையில், 13 பில்லியன் அளவுரு மாதிரி 32-பிட்டில் 12.45 பெர்ப்ளெக்ஸிட்டியும், எளிய 8-பிட் முழுமையாக்கலில் 19.08 உம், LLM.int8() இல் 12.45 உம் பெற்றது. 175 பில்லியன் அளவுருக்கள் வரையிலான OPT மாதிரிகளில் எந்தக் குறைவும் இல்லை என்று ஆசிரியர்கள் தெரிவிக்கின்றனர்; நுகர்வோர் GPU கொண்ட ஒரே சர்வரில் OPT-175B, BLOOM ஐப் பயன்படுத்த இது உதவுகிறது என்றும் கூறுகின்றனர். அவர்களின் மென்பொருள் Hugging Face Transformers இல் இணைக்கப்பட்டது.

ஒரு வரம்பையும் அவர்கள் கூறுகின்றனர். 6.7 பில்லியனுக்குக் குறைவான அளவுரு மாதிரிகளில் 8-பிட் முறை 16-பிட்டைவிட மெதுவாக ஓடக்கூடும்; ஆனால் அவை பெரும்பாலான GPU களில் எப்படியும் பொருந்திவிடும். 175 பில்லியன் அளவுரு மாதிரியின் பெரிய அணிப் பெருக்கல்களில் அது ஏறக்குறைய இருமடங்கு வேகமானது.

GPTQ: பயிற்சிக்குப் பிறகு, சுமார் நான்கு GPU மணி நேரத்தில் சுருக்குதல்

LLM.int8() 8 பிட்டையே வைத்திருக்கிறது. எலியாஸ் ஃபிராண்டார், சலே ஆஷ்கபூஸ், டோர்ஸ்டன் ஹோஃப்லர், டான் அலிஸ்டார் ஆகியோரின் GPTQ கட்டுரை மறுபயிற்சி இல்லாமல் இன்னும் குறைவை இலக்காகக் கொண்டது. இது ஒரு ஒற்றைச் சுற்று முறை; அதாவது முடிந்த மாதிரி, தோராயமான இரண்டாம் வரிசைத் தகவலைப் பயன்படுத்தி ஒரே தடவையில் முழுமையாக்கப்படுகிறது. ஒரு A100 இல் சுமார் நான்கு GPU மணி நேரத்தில் 175 பில்லியன் அளவுரு மாதிரியை குவாண்டைஸ் செய்ததாக ஆசிரியர்கள் தெரிவிக்கின்றனர்.

அதன் முக்கிய அட்டவணை OPT-175B மீது, WikiText2 பெர்ப்ளெக்ஸிட்டியாக அளக்கப்பட்டது. 16-பிட் மாதிரி 8.34 பெறுகிறது. 4 பிட்டில் GPTQ 8.37 பெறுகிறது; எளிய அருகிலுள்ளதற்கு முழுமையாக்கல் 10.54. 3 பிட்டில் அருகிலுள்ளதற்கு முழுமையாக்கல் சுமார் 7,300 ஆகச் சரிகிறது; GPTQ 8.68 பெறுகிறது. துல்லியக் குறைவு புறக்கணிக்கத்தக்கது என்று ஆசிரியர்கள் கூறுகின்றனர்; OPT-66B ஒரு விதிவிலக்கு என்றாலும், பெரிய மாதிரிகளை குவாண்டைஸ் செய்வது பொதுவாக எளிதாகத் தோன்றியது என்றும் குறிப்பிடுகின்றனர்.

நினைவகக் கணக்கீடு கட்டுரையிலேயே உள்ளது. 3 பிட்டில் OPT-175B சுமார் 63 GB எடுக்கிறது; 2,048 டோக்கன்களில் கடந்த கீகள், மதிப்புகளின் தற்காலிகச் சேமிப்புக்கு மேலும் சுமார் 9 GB; எனவே அது ஒரே 80 GB அட்டையில் பொருந்துகிறது. 16-பிட் செயல்பாட்டுக்கு இத்தகைய ஐந்து அட்டைகளும், LLM.int8() க்கு மூன்றும் தேவை என்று ஆசிரியர்கள் கூறுகின்றனர். A100 களில் 16-பிட்டைவிட 3.25 மடங்கும், மலிவான A6000 களில் 4.5 மடங்கும் வேகமான உருவாக்கத்தையும் அவர்கள் தெரிவிக்கின்றனர்; பிரதான வன்பொருளால் 16-பிட் எண்களை 4-பிட் எண்களுடன் நேரடியாகப் பெருக்க இன்னும் முடியாததால், குறைவான நினைவகத்தை ஏற்றுவதிலிருந்தே இந்த ஆதாயம் வருகிறது என்றும் அவர்கள் கூறுகின்றனர்.

AWQ: செயல்பாடுகளைப் பார்த்துத் தேர்ந்தெடுக்கப்பட்ட 1 சதவீத எடைகளைப் பாதுகாத்தல்

ஜி லின் முதல் ஆசிரியராகவும், MIT யின் சாங் ஹான் தொடர்பு ஆசிரியராகவும் உள்ள AWQ கட்டுரை, ஒரு கவனிப்பிலிருந்து தொடங்குகிறது: எல்லா எடைகளும் சமமாக முக்கியமல்ல. எடைகளில் சுமார் 1 சதவீதத்தை மட்டும் 16-பிட்டில் வைத்தால், மீதமுள்ளவற்றைக் குறைந்த துல்லியத்துக்கு முழுமையாக்குவதால் ஏற்படும் சேதம் பெரிதும் குறைகிறது.

எந்த 1 சதவீதம் என்பதே கண்டுபிடிப்பு. அதன் அட்டவணை 1, 128 எடைகள் கொண்ட குழுக்களுடன் 3 பிட்டில் OPT-6.7B ஐப் பயன்படுத்தி, WikiText பெர்ப்ளெக்ஸிட்டியில் அளக்கிறது; 16-பிட் மாதிரி 10.86, அருகிலுள்ளதற்கு முழுமையாக்கல் 23.54 பெறுகின்றன. எடைகளில் 1 சதவீதத்தை 16-பிட்டில் வைத்து, அவற்றுக்கு ஊட்டப்படும் செயல்பாடுகள் எவ்வளவு பெரியவை என்பதைக் கொண்டு தேர்ந்தெடுத்தால் 11.39 கிடைக்கிறது. அதே பங்கை எடைகளின் சொந்த அளவைக் கொண்டு தேர்ந்தெடுத்தால் 22.37; சீரற்ற தேர்வு 24.23 தருகிறது. முக்கிய எடைகள், எடைகளிலிருந்து அல்ல, மாதிரிக்குள் பாயும் தரவிலிருந்து கண்டறியப்படுகின்றன.

16-பிட், 4-பிட் கலந்த சேமிப்பு வன்பொருளுக்குச் சிரமமானது; எனவே AWQ, முழுமையாக்கலுக்கு முன் முக்கிய சேனல்களை மேல்நோக்கி அளவிடுகிறது; பிரிப்பு இல்லாமலே அது ஒத்த மதிப்பெண்களை எட்டுகிறது. இதை TinyChat என்ற அனுமான அமைப்புடன் ஆசிரியர்கள் இணைத்து, டெஸ்க்டாப், மடிக்கணினி, மொபைல் GPU களில் Hugging Face இன் 16-பிட் குறியீட்டைவிடச் சராசரியாக 3.2 முதல் 3.3 மடங்கு வேகத்தைத் தெரிவிக்கின்றனர். 64 GB கொண்ட ஒரே Jetson Orin இல் Llama-2-70B ஐயும், 8 GB கொண்ட மடிக்கணினி RTX 4070 இல் வினாடிக்கு 30 டோக்கன்களில் 13 பில்லியன் அளவுரு மாதிரியையும் அவர்கள் தெரிவிக்கின்றனர். இவை ஆசிரியர்களின் சொந்த அளவீடுகள். கட்டுரையின் 2026 திருத்தப் பதிப்பு MLSys 2024 சிறந்த கட்டுரை விருதைப் பட்டியலிடுகிறது.

LoRA, QLoRA: உறைந்த 4-பிட் மாதிரியை ஃபைன்-டியூன் செய்தல்

ஃபைன்-டியூனிங் என்பது புதிய தரவில் மாதிரியை மறுபயிற்சி செய்வது; அதை இயக்குவதைவிட அதற்கு மிக அதிக நினைவகம் தேவை. மைக்ரோசாஃப்டின் எட்வர்ட் ஹூ மற்றும் சகாக்களின் LoRA, 2021 ஜூனில், முன்பயிற்சி எடைகளை உறையவைத்து, அதற்குப் பதிலாகச் சிறிய கூடுதல் அணிகளைப் பயிற்றுவித்தது. GPT-3 175B க்கு, Adam ஆப்டிமைசருடன் ஃபைன்-டியூன் செய்வதைவிடப் பயிற்றுவிக்கத்தக்க அளவுருக்கள் 10,000 மடங்கும் GPU நினைவகம் 3 மடங்கும் குறைவு என்று ஆசிரியர்கள் தெரிவிக்கின்றனர்; அவர்கள் சோதித்த மாதிரிகளில் தரம் சமமாகவோ சிறப்பாகவோ இருந்தது, மாதிரி இயங்கும்போது கூடுதல் தாமதமும் இல்லை.

QLoRA இந்த இரண்டு கருத்துகளையும் இணைத்தது. முன்பயிற்சி மாதிரியை 4 பிட்டில் உறைந்த நிலையில் வைத்து, அதன் வழியாகச் சரிவுகளை LoRA அடாப்டர்களுக்குள் பின்னோக்கிச் செலுத்துகிறது. கட்டுரை மூன்று பகுதிகளைச் சேர்க்கிறது. NormalFloat 4, அதாவது NF4, கிடைக்கும் 16 மதிப்புகளைப் பயிற்சி பெற்ற எடைகளின் மணி வளைவு வடிவத்துக்குப் பொருந்தும்படி இடைவெளியிடுகிறது; இதனால் ஒவ்வொரு மதிப்பும் ஏறக்குறைய சம எண்ணிக்கை எடைகளை உள்ளடக்குகிறது. இரட்டை குவாண்டைசேஷன், அளவீட்டு மாறிலிகளையும் முழுமையாக்கி, ஒரு அளவுருவுக்கு சுமார் 0.37 பிட், அதாவது 65 பில்லியன் அளவுரு மாதிரிக்கு சுமார் 3 GB சேமிக்கிறது. GPU நினைவகம் குறையும்போது பேஜ்டு ஆப்டிமைசர்கள் பயிற்சி நிலையை CPU நினைவகத்துக்கு நகர்த்துகின்றன.

இது 65 பில்லியன் அளவுரு ஃபைன்-டியூனிங்கை 780 GB க்கும் மேலிருந்து 48 GB க்குக் கீழ் கொண்டுவருகிறது என்றும், அவர்கள் சோதித்த பணிகளில் 16-பிட் ஃபைன்-டியூனிங்குடன் ஒப்பிடும்போது இழப்பு இல்லை என்றும் ஆசிரியர்கள் தெரிவிக்கின்றனர். Guanaco என்ற மாதிரிகளை அவர்கள் வெளியிட்டனர். Guanaco 65B 41 GB, Guanaco 7B 5 GB என்று கட்டுரை தருகிறது; இது நவீன தொலைபேசிகளில் பொருந்தும் என்று அது கூறுகிறது.

இன்று பயன்பாட்டில் உள்ள வடிவங்கள்

2026 நவம்பர் 12 அன்று படிக்கப்பட்ட Hugging Face மேலோட்டப் பக்கம், அதன் இணக்க அட்டவணையில் 22 குவாண்டைசேஷன் முறைகளைப் பட்டியலிடுகிறது. அந்த அட்டவணையில் 4 பிட்டில் AWQ, 4 மற்றும் 8 இல் bitsandbytes (QLoRA கட்டுரை இணைக்கும் நூலகம்), 4 பிட்டில் NVFP4, 8 பிட்டில் இரண்டு FP8 முறைகள் ஆகியவையும், llama.cpp க்கான GGUF, தனது README இல் GPTQ ஐ வடிவங்களில் ஒன்றாகப் பட்டியலிடும் கருவித்தொகுப்பான GPT-QModel உம் உள்ளன.

GGUF என்பது சாதாரணக் கணினிகளில் மாதிரிகளை இயக்கும் நிரலான llama.cpp பயன்படுத்தும் கோப்பு வடிவம். எடைகளையும் அவற்றை ஏற்றத் தேவையான அனைத்தையும் கொண்ட ஒற்றைக் கோப்பை அதன் விவரக்குறிப்பு விவரிக்கிறது. குவாண்டைசேஷன் ஒரு மாதிரியைச் சுருக்குகிறது, அதை வேகப்படுத்தவும் கூடும் என்றும், பெர்ப்ளெக்ஸிட்டி அல்லது KL டைவர்ஜென்ஸால் வழக்கமாக அளக்கப்படும் துல்லியத்தை அது இழக்கச் செய்யலாம் என்றும், எந்த எடைகள் அதிக முக்கியம் என்று முடிவு செய்யப் பயன்படும் தரவுக் கோப்பான முக்கியத்துவ அணியால் அந்த இழப்பைக் குறைக்கலாம் என்றும் llama.cpp README கூறுகிறது.

FP8 எட்டு பிட்களை வைத்திருக்கிறது, ஆனால் அவற்றை ஒரு சிறிய மிதவைப்புள்ளி எண்ணாகச் செலவிடுகிறது. பவுலியஸ் மிகிகெவிசியஸ் மற்றும் 14 இணை ஆசிரியர்களின் 2022 கட்டுரை E4M3, E5M2 என்ற இரண்டு அமைப்புகளை முன்மொழிந்து, 175 பில்லியன் அளவுருக்கள் வரையிலான பயிற்சி ஓட்டங்களில் 16-பிட் தரத்துக்குச் சமமாக இருந்ததாகத் தெரிவித்தது. NVIDIA வின் 2025 ஜூன் 24 NVFP4 பதிவு, 16-பிட்டுடன் ஒப்பிடும்போது நினைவகத்தை சுமார் 3.5 மடங்கு குறைக்கும் 4-பிட் வடிவத்தை விவரிக்கிறது; DeepSeek-R1-0528 இல் ஏழு மதிப்பீடுகளில் FP8 உடன் ஒப்பிடும்போது 1 சதவீதம் அல்லது அதற்குக் குறைவான துல்லிய இழப்பையும் தெரிவிக்கிறது. அந்த எண், NVIDIA தனது சொந்த வடிவத்தை தானே சோதித்தது.

ஒவ்வொரு கூற்றும் எதன் மீது நிற்கிறது

மேலே உள்ள ஒவ்வொரு முடிவும் ஒரு குறிப்பிட்ட மாதிரிக்கும் ஒரு குறிப்பிட்ட சோதனைக்கும் உரியது. GPTQ இன் எண்கள் OPT, BLOOM மீதான பெர்ப்ளெக்ஸிட்டி; AWQ இன் அட்டவணைகள் OPT, Llama-2 ஐப் பயன்படுத்துகின்றன; NVFP4 எண் ஒரே ஒரு மாதிரிக்கானது. பெர்ப்ளெக்ஸிட்டி என்பது மாதிரி உரையை எவ்வளவு நன்றாகக் கணிக்கிறது என்பதை அளக்கிறது; ஒரு பயனருக்கு அந்த மாதிரி எவ்வளவு பயனுள்ளது என்பதற்கு அது சமமல்ல. குவாண்டைஸ் செய்யப்பட்ட மாதிரி துல்லியத்தை இழக்கக்கூடும் என்று llama.cpp README தானே கூறுகிறது.

QLoRA வின் அதிகம் மேற்கோள் காட்டப்படும் எண் 99.3 சதவீதம். இது, Vicuna அளவுகோலில் ChatGPT உடன் ஒப்பிடும்போது Guanaco 65B பெற்ற மதிப்பெண்; அது 80 கேள்விகள் கொண்ட சோதனை, அதில் GPT-4 நீதிபதியாக இரு பதில்களுக்கும் மதிப்பெண் அளிக்கிறது; கட்டுரையின் அட்டவணையில் 95 சதவீத நம்பகத்தன்மை இடைவெளி கூட்டல் அல்லது கழித்தல் 4.4 புள்ளிகள். அட்டவணை முழுவதும் இடைவெளிகள் மிக அகலமானவை, பல மாதிரிகள் ஒன்றோடொன்று மேலெழுகின்றன என்று ஆசிரியர்கள் கூறுகின்றனர்; அரட்டை இயந்திரச் செயல்திறனை அளக்க இன்றைய அரட்டை இயந்திர அளவுகோல்கள் நம்பத்தகுந்தவை அல்ல என்று முடிவு செய்கின்றனர். இந்தச் சிக்கல் AI அளவுகோல்கள் பற்றிய கட்டுரையில் விவரிக்கப்படுகிறது. இங்கே சுருக்கப்படும் மாதிரிகள் எப்படி உருவாக்கப்பட்டன என்பது ஒரு பெரிய மொழி மாதிரியைப் பயிற்றுவிப்பது பற்றிய விளக்கத்தில் உள்ளது.

இந்தியச் சாதனங்களுக்கான சிறிய மாதிரிகள்

2026 பிப்ரவரி 14 இன் Sarvam Edge அறிவிப்புப் பதிவில், அதன் மாதிரிகள் மக்கள் ஏற்கெனவே வைத்திருக்கும் சாதனங்களில் இயங்கும்படி வடிவமைக்கப்பட்டுள்ளன என்று Sarvam AI கூறுகிறது. சாதனத்தில் சுமார் 150 மில்லியன் அளவுருக்களும் சுமார் 334 MB உம் கொண்ட, 10 இந்திய மொழிகளையும் ஆங்கிலத்தையும் உள்ளடக்கிய ஒரு மொழிபெயர்ப்பு மாதிரியை அது பட்டியலிடுகிறது; எந்த குவாண்டைசேஷன் வடிவத்தை, ஏதேனும் இருந்தால், பயன்படுத்துகிறது என்று அது கூறவில்லை. தொலைபேசிப் பக்கப் படம் தொலைபேசிகளில் சிறிய மாதிரிகள் பற்றிய பார்வையில் உள்ளது; பரந்த முயற்சி இந்தியாவின் சொந்த மொழி AI பற்றிய கட்டுரையில் உள்ளது.

Share
Copied!

ஆதாரங்களும் மேலும் வாசிக்கவும்

  1. Dettmers, Lewis, Belkada and Zettlemoyer: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (arXiv:2208.07339, NeurIPS 2022)
  2. Frantar, Ashkboos, Hoefler and Alistarh: GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv:2210.17323, ICLR 2023)
  3. Lin et al.: AWQ, Activation-aware Weight Quantization for LLM Compression and Acceleration (arXiv:2306.00978, MLSys 2024)
  4. Dettmers, Pagnoni, Holtzman and Zettlemoyer: QLoRA, Efficient Finetuning of Quantized LLMs (arXiv:2305.14314, 23 May 2023)
  5. Hu et al.: LoRA, Low-Rank Adaptation of Large Language Models (arXiv:2106.09685, 17 June 2021)
  6. Micikevicius et al.: FP8 Formats for Deep Learning (arXiv:2209.05433, 12 September 2022)
  7. Hugging Face: Transformers documentation, Quantization overview
  8. ggml-org: llama.cpp quantize tool README
  9. ggml-org: GGUF file format specification
  10. NVIDIA Technical Blog: Introducing NVFP4 for Efficient and Accurate Low-Precision Inference (24 June 2025)
  11. Sarvam AI: Announcing Sarvam Edge (14 February 2026)

இந்தக் கட்டுரை AI கருவிகளின் உதவியுடன் ஆராயப்பட்டு எழுதப்பட்டு, துல்லியத்திற்காகத் திருத்தப்பட்டது. இது பொதுத் தகவலுக்கும் விவாதத்திற்கும் மட்டுமே, தொழில்முறை ஆலோசனை அல்ல. எங்கள் ஆசிரியர் தரநிலைகள் மற்றும் பொறுப்புத் துறப்பு ஐப் பார்க்கவும். பிழை கண்டீர்களா? எங்களிடம் சொல்லுங்கள்.

#quantisation#llm.int8#gptq#awq#qlora#lora#gguf#on-device ai

பிடித்ததா? அடுத்ததைப் பெறுங்கள்.

ஒரு நேரத்தில் ஒரு நல்ல கட்டுரை, நேரடியாக உங்கள் இன்பாக்ஸுக்கு. ஸ்பேம் இல்லை, எப்போது வேண்டுமானாலும் நிறுத்தலாம்.

இதே பிரிவில் மேலும்: செயற்கை நுண்ணறிவும் தொழில்நுட்பமும்
Gemma 4 ஒரு போனில் 1.1 முதல் 2.5 GB நினைவகத்தில் பொருந்தும் என்று கூகுள் கூறுகிறது, ஆனால் ஆகஸ்டில் தொடங்கிய சுதந்திரமான போன் அளவுகோல் ஒரே ஒரு ஐபோனுக்கு மட்டுமே போன் நேர அளவுகளை வெளியிட்டது
இப்போது போன்களில் ஓடும் AI க்கு விற்பனையாளர்கள் அளவுரு எண்ணிக்கைகளையும் நினைவக அளவுகளையும் அளவுகோல் அட்டவணைகளையும் வெளியிடுகிறார்கள். ஒவ்வொரு பக்கமும் சொல்வது என்ன, ஒவ்வொரு சோதனையையும் இயக்கியவர் யார், மாதிரிகளால் எது முடியாது, அதில் எவ்வளவு இந்திய மொழிகளில் வேலை செய்கிறது என்பதே இது.
கூகுளின் எட்டு ஆசிரியர்கள் 2017 ஜூன் 12 அன்று டிரான்ஸ்ஃபார்மர் ஆய்வறிக்கையை வெளியிட்டனர்; அதன் பெரிய மாடல் எட்டு GPU-களில் 3.5 நாட்கள் பயிற்சிக்குப் பிறகு ஆங்கிலத்திலிருந்து ஜெர்மனுக்கான மொழிபெயர்ப்பில் 28.4 BLEU பெற்றது
இன்றைய சாட்பாட்களின் பின்னால் உள்ள வடிவமைப்பின் ஒரு விளக்கம்; ஆய்வறிக்கையின் சொந்த அட்டவணைகளையும், ஆற்றைப் பார்க்க வேண்டிய ஒரு சொல் பற்றிய கூகுளின் சொந்த எடுத்துக்காட்டையும் இது பயன்படுத்துகிறது. 2017 வடிவமைப்பில் பிற்கால மாடல்கள் எவற்றை வைத்துக்கொண்டன, எவற்றை மாற்றின, எவற்றைக் கைவிட்டன என்பதையும் இது சொல்கிறது.
2026 பிப்ரவரி 17 அன்று ஜெய்ப்பூரில் தொடங்கப்பட்ட பாரத்-விஸ்தார், 155261 எண்ணுக்குத் தொலைபேசியில் அழைத்து AI ஆலோசகரிடம் விவசாயி கேள்வி கேட்க வழி செய்கிறது; ICAR, IMD, அக்மார்க்நெட், அக்ரிஸ்டாக் தரவுகளை அது பயன்படுத்துகிறது
155261 என்ற ஒரே அழைப்பு, ICAR வழிகாட்டிகள், வானிலை, மண்டித் தரவுகளால் ஊட்டப்பட்ட AI ஆலோசகரை அடைகிறது. தொடக்க அறிவிப்புகள், மொழித் திட்டம், இதுவரை வெளியான பயன்பாட்டு எண்ணிக்கைகள் ஆகியவை தேதிகளுடனும் ஆதாரங்களுடனும் இங்கே உள்ளன.
← அனைத்துக் கட்டுரைகள்