Skip to content
క్వాంటైజేషన్ వల్ల 2022లో 175 బిలియన్ పారామీటర్ల మోడల్ ఒకే 80 GB GPUపై నడిచింది, 2023లో QLoRA 65 బిలియన్ పారామీటర్ల మోడల్‌ను 48 GBపై ఫైన్-ట్యూన్ చేసింది
ఏఐ మరియు సాంకేతికత

క్వాంటైజేషన్ వల్ల 2022లో 175 బిలియన్ పారామీటర్ల మోడల్ ఒకే 80 GB GPUపై నడిచింది, 2023లో QLoRA 65 బిలియన్ పారామీటర్ల మోడల్‌ను 48 GBపై ఫైన్-ట్యూన్ చేసింది

చిత్రణ: tuput

తెలుగు

2022, 2023 నాటి నాలుగు పరిశోధన పత్రాలు పెద్ద భాషా మోడల్‌కు అవసరమైన మెమరీని తగ్గించాయి: 8-బిట్ LLM.int8 నుంచి 4-బిట్ GPTQ, AWQ, QLoRA వరకు. ప్రతి పత్రం రచయితల సొంత సంఖ్యల్లో ఏమి కొలిచిందో, ఇప్పుడు ఏ ఫార్మాట్లు వాడుకలో ఉన్నాయో ఇక్కడ ఉన్నాయి.

· · 8 నిమిషాల పఠనం

2022 ఆగస్టులో టిమ్ డెట్మర్స్, మైక్ లూయిస్, యూనెస్ బెల్కాడా, లూక్ జెటిల్‌మాయర్ ఒక భాషా మోడల్ వెయిట్‌లను 16 బిట్లకు బదులు 8 బిట్లలో నిల్వ చేసే పద్ధతిని నివేదించారు. దానివల్ల మోడల్‌ను నడపడానికి కావలసిన మెమరీ సగానికి తగ్గింది, 175 బిలియన్ పారామీటర్ల వరకు వారి పరీక్షల్లో కచ్చితత్వం తగ్గలేదు. 2022 అక్టోబర్‌లో ETH జూరిక్, IST ఆస్ట్రియా బృందం GPTQని ప్రచురించింది; అది వెయిట్‌లను 3 లేదా 4 బిట్లకు తగ్గించి, 175 బిలియన్ పారామీటర్ల OPT మోడల్‌ను ఒకే 80 GB గ్రాఫిక్స్ కార్డుపై నడిపింది. 2023 మేలో QLoRA పత్రం 65 బిలియన్ పారామీటర్ల మోడల్‌ను ఒకే 48 GB కార్డుపై ఫైన్-ట్యూన్ చేసింది; సాధారణ 16-బిట్ రూపంలో ఆ పనికి 780 GBకి పైగా కావాలని రచయితలు చెబుతారు.

ఇదంతా క్వాంటైజేషన్: మోడల్ సంఖ్యలను తక్కువ బిట్లతో నిల్వ చేయడం. వెయిట్‌లను తక్కువ కచ్చితత్వంలో ఉంచుతూ వీలైనంత ఎక్కువ ఖచ్చితత్వాన్ని కాపాడే ప్రయత్నంలో, మోడల్‌ను లోడ్ చేయడానికి, వాడటానికి అవసరమైన మెమరీని తగ్గించడమే క్వాంటైజేషన్ అని హగ్గింగ్ ఫేస్ డాక్యుమెంటేషన్ వర్ణిస్తుంది. ఈ వ్యాసం పత్రాలను వరుసగా చూస్తుంది, ప్రతిదీ ఏమి కొలిచిందో చెబుతుంది, ఏ వాదనలు రచయితల నుంచి లేదా హార్డ్‌వేర్ అమ్ముతున్న కంపెనీ నుంచి మాత్రమే వచ్చాయో గుర్తిస్తుంది.

వెయిట్ ఒక సంఖ్య, బిట్లు దాన్ని ఎంత సూక్ష్మంగా రాయాలో నిర్ణయిస్తాయి

భాషా మోడల్ పారామీటర్లను, అంటే వెయిట్‌లను, శిక్షణలో అది నేర్చుకున్న సంఖ్యలు. GPT-3కి వాటిలో 175 బిలియన్ ఉన్నాయి. ఒక్కోటి రెండు బైట్లు (16 బిట్లు) అయితే అది 350 GB; AWQ పత్రం ఇచ్చే సంఖ్య ఇదే. GPTQ పత్రం బైనరీ గిగాబైట్లను వాడటం వల్ల 326 GB అని లెక్కిస్తుంది. అది అత్యున్నత స్థాయి ఒకే గ్రాఫిక్స్ కార్డు సామర్థ్యాన్ని కూడా మించిందని GPTQ రచయితలు అంటారు, ఎన్‌వీడియా కొత్త B200కు 192 GB ఉందని AWQ పత్రం గమనిస్తుంది.

16-బిట్ సంఖ్య 65,536 విభిన్న రూపాలను తీసుకోగలదు, 8-బిట్ సంఖ్య 256, 4-బిట్ సంఖ్య 16. ఇది సాధారణ అంకగణితం, మొత్తం బేరసారం ఇదే. 4-బిట్ ఫ్లోటింగ్-పాయింట్ విలువ ఉంచగల పరిమాణాలను ఎన్‌వీడియా NVFP4 పోస్ట్ జాబితా చేస్తుంది: 0, 0.5, 1, 1.5, 2, 3, 4, 6, ఒక గుర్తుతో. మాట్రిక్స్‌లోని ప్రతి వెయిట్‌ను ఆ కొన్ని బిందువుల్లో ఒకదానికి రౌండ్ చేయాలి; మాట్రిక్స్‌లోని అతిపెద్ద విలువ పరిధి పైభాగంలో పడేలా దాన్ని స్కేల్ చేసిన తర్వాత ఇది జరుగుతుంది.

ఇక్కడ ఒక కల్పిత ఉదాహరణ, ఏ పత్రం నుంచీ తీసుకున్నది కాదు. వెయిట్‌ల వరుసలో 0.02, 0.4 దగ్గర విలువలతో పాటు 12 వద్ద ఒకటి ఉంటే, 8 బిట్లకు స్కేల్ చేసినప్పుడు పరిధి అంతటా సుమారు 0.09 అంతరాలు వస్తాయి, 0.02 సున్నాకు రౌండ్ అవుతుంది. ఒక పెద్ద విలువ మిగిలినవాటన్నిటికీ గ్రిడ్‌ను ముతకగా చేస్తుంది. కింది పద్ధతులు దీన్ని ఎదుర్కొనే వేర్వేరు మార్గాలు.

నిజమైన ఫార్మాట్లు స్కేల్ స్థిరాంకాలను కూడా మోస్తాయి, అందుకే “4-బిట్” అంటే నాలుగు కంటే కొంచెం ఎక్కువ. llama.cpp README లామా 3.1 8Bని పట్టిక చేస్తుంది: 16 బిట్ల వద్ద ఒక్కో వెయిట్‌కు 16.0005 బిట్లు, 14.96 GiB; దాని 8-బిట్ ఫార్మాట్ Q8_0లో 8.5008 బిట్లు, 7.95 GiB; దాని ఉదాహరణలు వాడే 4-బిట్ ఫార్మాట్ Q4_K_Mలో 4.8944 బిట్లు, 4.58 GiB. NVIDIA NVFP4 ప్రతి 16 విలువలకు ఒక 8-బిట్ స్కేల్‌ను నిల్వ చేస్తుంది, దాన్ని ఒక్కో విలువకు 4.5 బిట్లుగా లెక్కిస్తుంది.

LLM.int8(): 8-బిట్‌ను విరగ్గొట్టిన 0.1 శాతం విలువలు

2022 NeurIPSలో సమర్పించిన LLM.int8() పత్రం ఒక వైఫల్యంతో మొదలవుతుంది. మునుపటి 8-బిట్ పద్ధతులను 350 మిలియన్ పారామీటర్ల కంటే చిన్న మోడళ్లపైనే అధ్యయనం చేశారు, మోడళ్లు పెరిగేకొద్దీ సాధారణ 8-బిట్ రౌండింగ్ విఫలమవుతుందని రచయితలు కనుగొన్నారు. సుమారు 6.7 బిలియన్ పారామీటర్ల నుంచి, కొన్ని హిడెన్ డైమెన్షన్‌లు మిగిలిన వాటికంటే 20 రెట్లు పెద్ద విలువలను మోస్తాయి. 6.7 బిలియన్ వద్ద, ప్రతి సీక్వెన్స్‌కు సుమారు 150,000 అలాంటి అవుట్‌లయర్లు ఉన్నాయని, అవి కేవలం 6 ఫీచర్ డైమెన్షన్‌లలో కేంద్రీకృతమై ఉన్నాయని వారు నివేదిస్తారు. ఆ డైమెన్షన్‌లను సున్నా చేస్తే, అవి ఫీచర్లలో 0.1 శాతం మాత్రమే అయినా, పెర్ప్లెక్సిటీ (తక్కువ ఉంటే మంచిదనే స్కోరు) 600 నుంచి 1,000 శాతం క్షీణించింది.

పరిష్కారం ఒక విభజన. 6 లేదా అంతకంటే ఎక్కువ పరిమాణం ఉన్న విలువలను కలిగిన డైమెన్షన్‌లను 16-బిట్‌లో గుణిస్తారు, మిగిలిన 99.9 శాతం లేదా అంతకు దగ్గరగా ఉన్నవాటిని 8-బిట్‌లో, ప్రతి ఇన్నర్ ప్రొడక్ట్‌కు వేరే స్కేల్‌తో. పత్రం C4 పరీక్షలో, 13 బిలియన్ పారామీటర్ల మోడల్ 32-బిట్‌లో 12.45 పెర్ప్లెక్సిటీ, సాధారణ 8-బిట్ రౌండింగ్‌తో 19.08, LLM.int8()తో 12.45 సాధించింది. 175 బిలియన్ పారామీటర్ల వరకు OPT మోడళ్లపై క్షీణత లేదని రచయితలు నివేదిస్తారు, OPT-175B, BLOOMలను వినియోగదారు GPUలతో ఉన్న ఒకే సర్వర్‌పై వాడదగినవిగా చేస్తుందని అంటారు. వారి సాఫ్ట్‌వేర్‌ను హగ్గింగ్ ఫేస్ ట్రాన్స్‌ఫార్మర్స్‌లో చేర్చారు.

వారు ఒక పరిమితిని కూడా చెబుతారు. 6.7 బిలియన్ పారామీటర్ల కంటే చిన్న మోడళ్లపై 8-బిట్ పద్ధతి 16-బిట్ కంటే నెమ్మదిగా నడవవచ్చు, అయితే అవి చాలా GPUలలో ఎలాగూ పడతాయి; 175 బిలియన్ పారామీటర్ల మోడల్‌లోని పెద్ద మాట్రిక్స్ గుణకారాలపై అది సుమారు రెండు రెట్లు వేగం.

GPTQ: శిక్షణ తర్వాత సుమారు నాలుగు GPU గంటల్లో కుదింపు

LLM.int8() 8 బిట్లను ఉంచుతుంది. ఎలియాస్ ఫ్రాంటార్, సాలెహ్ అష్కబూస్, టోర్‌స్టెన్ హోఫ్లర్, డాన్ అలిస్టార్ రూపొందించిన GPTQ పత్రం దీనికంటే తక్కువను లక్ష్యంగా పెట్టుకుంది, పునఃశిక్షణ లేకుండా. ఇది వన్-షాట్ పద్ధతి, అంటే పూర్తయిన మోడల్‌ను సుమారు రెండో-క్రమ సమాచారంతో ఒకే పాస్‌లో రౌండ్ చేస్తారు; ఒకే A100పై 175 బిలియన్ పారామీటర్ల మోడల్‌ను క్వాంటైజ్ చేయడానికి సుమారు నాలుగు GPU గంటలు పట్టిందని రచయితలు నివేదిస్తారు.

దాని ప్రధాన పట్టిక OPT-175Bపై ఉంది, WikiText2 పెర్ప్లెక్సిటీగా కొలిచారు. 16-బిట్ మోడల్ 8.34 సాధిస్తుంది. 4 బిట్ల వద్ద GPTQ 8.37 సాధిస్తుంది, సాధారణ రౌండ్-టు-నియరెస్ట్ 10.54. 3 బిట్ల వద్ద రౌండ్-టు-నియరెస్ట్ సుమారు 7,300కు కుప్పకూలుతుంది, GPTQ 8.68 సాధిస్తుంది. కచ్చితత్వ నష్టం అతి స్వల్పమని రచయితలు అంటారు, పెద్ద మోడళ్లను క్వాంటైజ్ చేయడం సాధారణంగా సులభంగా కనిపించిందని, OPT-66B మినహాయింపు అని గమనిస్తారు.

మెమరీ లెక్క పత్రంలోనే ఉంది. 3 బిట్ల వద్ద OPT-175B సుమారు 63 GB తీసుకుంటుంది, 2,048 టోకెన్ల వద్ద గత కీలు, విలువల కాష్‌కు మరో సుమారు 9 GB, కాబట్టి అది ఒకే 80 GB కార్డులో పడుతుంది. 16-బిట్ అమలుకు అలాంటి ఐదు కార్డులు కావాలని, LLM.int8()కు మూడు కావాలని రచయితలు చెబుతారు. A100లపై 16-బిట్ కంటే 3.25 రెట్లు, చౌకైన A6000లపై 4.5 రెట్లు వేగంగా జనరేషన్‌ను కూడా నివేదిస్తారు; ఈ లాభం తక్కువ మెమరీని లోడ్ చేయడం వల్ల వస్తుందని, ఎందుకంటే ప్రధాన స్రవంతి హార్డ్‌వేర్ ఇంకా 16-బిట్‌ను 4-బిట్ సంఖ్యలతో నేరుగా గుణించలేదని చెబుతారు.

AWQ: యాక్టివేషన్లను చూసి ఎంచుకున్న 1 శాతం వెయిట్‌లను కాపాడండి

జి లిన్ మొదటి రచయితగా, MIT సాంగ్ హాన్ సంబంధిత రచయితగా ఉన్న AWQ పత్రం ఒక పరిశీలనతో మొదలవుతుంది: అన్ని వెయిట్‌లకూ సమాన ప్రాముఖ్యత ఉండదు. కేవలం సుమారు 1 శాతం వెయిట్‌లను 16-బిట్‌లో ఉంచడం, మిగిలిన వాటిని తక్కువ కచ్చితత్వానికి రౌండ్ చేయడం వల్ల కలిగే నష్టాన్ని గణనీయంగా తగ్గిస్తుంది.

ఏ 1 శాతం అన్నదే కనుగొన్న విషయం. దాని పట్టిక 1, 128 వెయిట్‌ల సమూహాలతో 3 బిట్ల వద్ద OPT-6.7Bను వాడుతుంది, WikiText పెర్ప్లెక్సిటీగా స్కోర్ చేశారు; 16-బిట్ మోడల్‌కు 10.86, రౌండ్-టు-నియరెస్ట్‌కు 23.54 వస్తాయి. వాటికి అందే యాక్టివేషన్లు ఎంత పెద్దవో ఆధారంగా ఎంచుకున్న 1 శాతం వెయిట్‌లను 16-బిట్‌లో ఉంచితే 11.39 వస్తుంది. అదే వాటాను వెయిట్‌ల సొంత పరిమాణం ఆధారంగా ఎంచుకుంటే 22.37, యాదృచ్ఛికంగా ఎంచుకుంటే 24.23. ప్రధాన వెయిట్‌లను మోడల్ గుండా ప్రవహించే డేటా నుంచి కనుగొంటారు, వెయిట్‌ల నుంచి కాదు.

16-బిట్, 4-బిట్ మిశ్రమ నిల్వ హార్డ్‌వేర్‌కు ఇబ్బందిగా ఉంటుంది, అందువల్ల AWQ రౌండ్ చేయడానికి ముందు ప్రధాన ఛానెళ్లను పైకి స్కేల్ చేస్తుంది, విభజన లేకుండానే సమానమైన స్కోర్లు వస్తాయి. రచయితలు దాన్ని ఇన్ఫరెన్స్ వ్యవస్థ TinyChatతో జత చేసి, డెస్క్‌టాప్, ల్యాప్‌టాప్, మొబైల్ GPUలపై హగ్గింగ్ ఫేస్ 16-బిట్ కోడ్ కంటే సగటున 3.2 నుంచి 3.3 రెట్ల వేగం పెరుగుదలను నివేదిస్తారు. 64 GBతో ఒకే జెట్సన్ ఓరిన్‌పై లామా-2-70B, 8 GB ఉన్న ల్యాప్‌టాప్ RTX 4070పై సెకనుకు 30 టోకెన్ల వేగంతో 13 బిలియన్ పారామీటర్ల మోడల్‌ను నివేదిస్తారు. ఇవి రచయితల కొలతలు. పత్రం 2026 సవరణ MLSys 2024 బెస్ట్ పేపర్ అవార్డును పేర్కొంటుంది.

LoRA, QLoRA: ఘనీభవించిన 4-బిట్ మోడల్‌ను ఫైన్-ట్యూన్ చేయడం

ఫైన్-ట్యూనింగ్ అంటే కొత్త డేటాపై మోడల్‌కు మళ్లీ శిక్షణ ఇవ్వడం, దాన్ని నడపడం కంటే చాలా ఎక్కువ మెమరీ ఖర్చవుతుంది. 2021 జూన్‌లో మైక్రోసాఫ్ట్‌కు చెందిన ఎడ్వర్డ్ హు, సహచరుల LoRA, ముందే శిక్షణ పొందిన వెయిట్‌లను స్థిరంగా ఉంచి, బదులుగా జోడించిన చిన్న మాట్రిక్స్‌లకు శిక్షణ ఇచ్చింది. GPT-3 175Bకి, ఆడమ్ ఆప్టిమైజర్‌తో ఫైన్-ట్యూనింగ్ కంటే 10,000 రెట్లు తక్కువ శిక్షణీయ పారామీటర్లు, 3 రెట్లు తక్కువ GPU మెమరీ, వారు పరీక్షించిన మోడళ్లపై సమానమైన లేదా మెరుగైన నాణ్యత, మోడల్ నడిచేటప్పుడు అదనపు ఆలస్యం లేకపోవడం అని రచయితలు నివేదిస్తారు.

QLoRA ఈ రెండు ఆలోచనలనూ కలిపింది. ముందే శిక్షణ పొందిన మోడల్‌ను 4 బిట్లలో స్థిరంగా ఉంచి, గ్రేడియంట్లను దాని గుండా LoRA అడాప్టర్లలోకి పంపుతుంది. పత్రం మూడు భాగాలను చేరుస్తుంది. నార్మల్‌ఫ్లోట్ 4, లేదా NF4, అందుబాటులో ఉన్న 16 విలువలను శిక్షణ పొందిన వెయిట్‌ల గంట-ఆకారానికి సరిపోయేలా అమరుస్తుంది, ప్రతి విలువ దాదాపు ఒకే సంఖ్యలో వెయిట్‌లను కవర్ చేస్తుంది. డబుల్ క్వాంటైజేషన్ స్కేల్ స్థిరాంకాలను కూడా రౌండ్ చేసి, ప్రతి పారామీటర్‌కు సుమారు 0.37 బిట్లను, లేదా 65 బిలియన్ పారామీటర్ల మోడల్‌కు సుమారు 3 GBని ఆదా చేస్తుంది. GPU మెమరీ తక్కువైనప్పుడు పేజ్డ్ ఆప్టిమైజర్లు శిక్షణ స్థితిని CPU మెమరీకి తరలిస్తాయి.

దీనివల్ల 65 బిలియన్ పారామీటర్ల ఫైన్-ట్యూనింగ్ 780 GBకి పైగా నుంచి 48 GB కంటే తక్కువకు వస్తుందని, వారు పరీక్షించిన పనుల్లో 16-బిట్ ఫైన్-ట్యూనింగ్‌తో పోలిస్తే నష్టం లేదని రచయితలు నివేదిస్తారు. వారు గ్వానాకో అనే మోడళ్లను విడుదల చేశారు. గ్వానాకో 65Bని 41 GB, గ్వానాకో 7Bని 5 GB అని పత్రం ఇస్తుంది, అది ఆధునిక ఫోన్‌లలో పడుతుందని చెబుతుంది.

ఇప్పుడు వాడుకలో ఉన్న ఫార్మాట్లు

2026 నవంబర్ 12న చదివిన హగ్గింగ్ ఫేస్ అవలోకన పేజీ దాని అనుకూలత పట్టికలో 22 క్వాంటైజేషన్ పద్ధతులను జాబితా చేస్తుంది. పట్టికలో 4 బిట్ల వద్ద AWQ, 4, 8 వద్ద bitsandbytes (QLoRA పత్రం లింక్ చేసే లైబ్రరీ), 4 వద్ద NVFP4, 8 వద్ద రెండు FP8 పద్ధతులు ఉన్నాయి, వాటితో పాటు llama.cpp కోసం GGUF, GPT-QModel కూడా; ఆ టూల్‌కిట్ సొంత README దాని ఫార్మాట్లలో GPTQని జాబితా చేస్తుంది.

GGUF అనేది ఆర్డినరీ కంప్యూటర్లలో మోడళ్లను నడిపే ప్రోగ్రామ్ llama.cpp వాడే ఫైల్ ఫార్మాట్. దాని స్పెసిఫికేషన్ వెయిట్‌లను, వాటిని లోడ్ చేయడానికి కావలసిన ప్రతిదాన్ని ఒకే ఫైల్‌లో ఉంచుతుందని వర్ణిస్తుంది. క్వాంటైజేషన్ మోడల్‌ను కుదిస్తుందని, వేగవంతం చేయవచ్చని, సాధారణంగా పెర్ప్లెక్సిటీ లేదా KL డైవర్జెన్స్‌తో కొలిచే కచ్చితత్వాన్ని కోల్పోవచ్చని, ఏ వెయిట్‌లు ఎక్కువ ముఖ్యమో నిర్ణయించడానికి వాడే డేటా ఫైల్ అయిన ఇంపార్టెన్స్ మ్యాట్రిక్స్‌తో ఆ నష్టాన్ని తగ్గించవచ్చని llama.cpp README చెబుతుంది.

FP8 ఎనిమిది బిట్లను ఉంచుతుంది, కానీ వాటిని చిన్న ఫ్లోటింగ్-పాయింట్ సంఖ్యగా ఖర్చు చేస్తుంది. పౌలియస్ మికికేవిసియస్, 14 మంది సహ రచయితల 2022 పత్రం E4M3, E5M2 అనే రెండు లేఅవుట్లను ప్రతిపాదించి, 175 బిలియన్ పారామీటర్ల వరకు శిక్షణ రన్‌లలో 16-బిట్ నాణ్యతతో సరిపోలిందని నివేదించింది. 2025 జూన్ 24 నాటి ఎన్‌వీడియా NVFP4 పోస్ట్ 16-బిట్‌తో పోలిస్తే మెమరీని సుమారు 3.5 రెట్లు తగ్గించే 4-బిట్ ఫార్మాట్‌ను వర్ణిస్తుంది, ఏడు మూల్యాంకనాల్లో DeepSeek-R1-0528పై FP8తో పోలిస్తే 1 శాతం లేదా అంతకంటే తక్కువ కచ్చితత్వ నష్టాన్ని నివేదిస్తుంది. ఆ సంఖ్య ఎన్‌వీడియా తన సొంత ఫార్మాట్‌ను తానే చేసిన పరీక్ష.

ప్రతి వాదన దేనిపై ఆధారపడింది

పైన ఉన్న ప్రతి ఫలితం ఒక పేరున్న మోడల్‌కు, ఒక పేరున్న పరీక్షకు సంబంధించినది. GPTQ సంఖ్యలు OPT, BLOOMలపై పెర్ప్లెక్సిటీ, AWQ పట్టికలు OPT, లామా-2లను వాడతాయి, NVFP4 సంఖ్య ఒకే మోడల్‌ది. పెర్ప్లెక్సిటీ మోడల్ టెక్స్ట్‌ను ఎంత బాగా అంచనా వేస్తుందో కొలుస్తుంది; వినియోగదారుకు మోడల్ ఎంత ఉపయోగకరమో అది కాదు. క్వాంటైజ్ చేసిన మోడల్ కచ్చితత్వాన్ని కోల్పోవచ్చని llama.cpp README స్వయంగా చెబుతుంది.

QLoRA అత్యధికంగా ఉటంకించే సంఖ్య 99.3 శాతం. ఇది విక్యూనా బెంచ్‌మార్క్‌లో ChatGPTతో పోలిస్తే గ్వానాకో 65B స్కోరు; అది 80 ప్రశ్నల పరీక్ష, అందులో GPT-4 న్యాయనిర్ణేతగా రెండు జవాబులకూ స్కోర్ ఇస్తుంది, పత్రం పట్టికలో 95 శాతం విశ్వాస అంతరం ప్లస్ లేదా మైనస్ 4.4 పాయింట్లు. పట్టిక అంతటా అంతరాలు చాలా వెడల్పుగా ఉన్నాయని, చాలా మోడళ్లు అతివ్యాప్తి చెందుతున్నాయని రచయితలు అంటారు, చాట్‌బాట్ పనితీరును కొలవడానికి ప్రస్తుత చాట్‌బాట్ బెంచ్‌మార్క్‌లు నమ్మదగినవి కావని నిర్ధారిస్తారు. ఈ సమస్యను AI బెంచ్‌మార్క్‌లపై వ్యాసం వివరిస్తుంది. ఇక్కడ కుదిస్తున్న మోడళ్లను ఎలా తయారు చేశారో పెద్ద భాషా మోడల్ శిక్షణపై వివరణలో ఉంది.

భారతీయ పరికరాల కోసం చిన్న మోడళ్లు

సర్వం ఎడ్జ్‌ను ప్రకటించిన సర్వం AI 2026 ఫిబ్రవరి 14 పోస్ట్ తన మోడళ్లు ప్రజల దగ్గర ఇప్పటికే ఉన్న పరికరాలపై నడిచేలా రూపొందాయని చెబుతుంది. పరికరంపై సుమారు 150 మిలియన్ పారామీటర్లు, సుమారు 334 MB ఉన్న, 10 భారతీయ భాషలు, ఇంగ్లీషును కవర్ చేసే అనువాద మోడల్‌ను అది జాబితా చేస్తుంది; ఏ క్వాంటైజేషన్ ఫార్మాట్‌ను, ఉంటే, వాడుతుందో చెప్పదు. ఫోన్ వైపు చిత్రం ఫోన్లలో చిన్న మోడళ్లపై కథనంలో ఉంది, విస్తృత ప్రయత్నం భారత సొంత భాషల AIపై వ్యాసంలో ఉంది.

Share
Copied!

మూలాలు మరియు మరింత చదవడానికి

  1. Dettmers, Lewis, Belkada and Zettlemoyer: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (arXiv:2208.07339, NeurIPS 2022)
  2. Frantar, Ashkboos, Hoefler and Alistarh: GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv:2210.17323, ICLR 2023)
  3. Lin et al.: AWQ, Activation-aware Weight Quantization for LLM Compression and Acceleration (arXiv:2306.00978, MLSys 2024)
  4. Dettmers, Pagnoni, Holtzman and Zettlemoyer: QLoRA, Efficient Finetuning of Quantized LLMs (arXiv:2305.14314, 23 May 2023)
  5. Hu et al.: LoRA, Low-Rank Adaptation of Large Language Models (arXiv:2106.09685, 17 June 2021)
  6. Micikevicius et al.: FP8 Formats for Deep Learning (arXiv:2209.05433, 12 September 2022)
  7. Hugging Face: Transformers documentation, Quantization overview
  8. ggml-org: llama.cpp quantize tool README
  9. ggml-org: GGUF file format specification
  10. NVIDIA Technical Blog: Introducing NVFP4 for Efficient and Accurate Low-Precision Inference (24 June 2025)
  11. Sarvam AI: Announcing Sarvam Edge (14 February 2026)

ఈ వ్యాసం AI సాధనాల సహాయంతో పరిశోధించి రాయబడింది మరియు కచ్చితత్వం కోసం సవరించబడింది. ఇది సాధారణ సమాచారం మరియు చర్చ కోసం మాత్రమే, వృత్తిపరమైన సలహా కాదు. మా సంపాదకీయ ప్రమాణాలు మరియు నిరాకరణ చూడండి. తప్పు కనిపించిందా? మాకు తెలియజేయండి.

#quantisation#llm.int8#gptq#awq#qlora#lora#gguf#on-device ai

నచ్చిందా? తదుపరిది పొందండి.

ఒకసారి ఒక మంచి వ్యాసం, నేరుగా మీ ఇన్‌బాక్స్‌కు. స్పామ్ లేదు, ఎప్పుడైనా ఆపవచ్చు.

ఇదే విభాగంలో మరిన్ని: ఏఐ మరియు సాంకేతికత
జెమ్మా 4 ఫోన్‌లో 1.1 నుండి 2.5 GB మెమరీలో ఇమిడిపోతుందని గూగుల్ చెబుతోంది, కానీ ఆగస్టులో మొదలైన స్వతంత్ర బెంచ్‌మార్క్ ఒకే ఒక ఐఫోన్‌కు ఫోన్ టైమింగ్స్ ప్రచురించింది
ఇప్పుడు ఫోన్లలో నడుస్తున్న AI కోసం కంపెనీలు పారామీటర్ల లెక్కలు, మెమరీ సంఖ్యలు, బెంచ్‌మార్క్ పట్టికలు ప్రచురిస్తాయి. ప్రతి పేజీ ఏం చెబుతుందో, ప్రతి పరీక్షను ఎవరు నడిపారో, ఆ మోడళ్లు ఏం చేయలేవో, భారతీయ భాషల్లో ఎంత పనిచేస్తుందో ఇది చెబుతుంది.
ఎనిమిది మంది గూగుల్ రచయితలు 2017 జూన్ 12న ట్రాన్స్‌ఫార్మర్ పేపర్‌ను పోస్ట్ చేశారు; దాని పెద్ద మోడల్ ఎనిమిది జీపీయూలపై 3.5 రోజులు శిక్షణ పొంది ఇంగ్లీష్ నుంచి జర్మన్‌కు 28.4 BLEU సాధించింది
నేటి చాట్‌బాట్ల వెనుక ఉన్న డిజైన్‌ను పేపర్ సొంత పట్టికలతో, నదిని చూడాల్సిన పదం గురించి గూగుల్ ఇచ్చిన ఉదాహరణతో వివరించే కథనం. 2017 డిజైన్‌లో ఏ భాగాలను తర్వాతి మోడళ్లు ఉంచాయో, మార్చాయో, వదిలాయో కూడా ఇందులో ఉంది.
2026 ఫిబ్రవరి 17న జైపూర్‌లో ప్రారంభమైన Bharat-VISTAAR, రైతు 155261కు ఫోన్ చేసి AI సలహాదారును ప్రశ్నలు అడగడానికి వీలు కల్పిస్తుంది, ICAR, IMD, అగ్‌మార్క్‌నెట్, అగ్రిస్టాక్ డేటాను వాడుకుంటుంది
155261కు ఒక్క కాల్ చేస్తే ICAR సాగు మార్గదర్శకాలు, వాతావరణ, మండీ డేటాతో నడిచే AI సలహాదారు అందుబాటులోకి వస్తుంది. ప్రారంభ ప్రకటనలు, భాషా ప్రణాళిక, ఇప్పటివరకు ప్రచురించిన వినియోగ సంఖ్యలు, తేదీలు, మూలాలతో.
← అన్ని వ్యాసాలు