Skip to content
OpenAI యొక్క 2020 స్కేలింగ్ లా పేపర్ మోడల్ లాస్ ఏడు ఆర్డర్ ఆఫ్ మాగ్నిట్యూడ్‌లకు పైగా పవర్ లా ప్రకారం తగ్గుతుందని కనుగొంది, DeepMind యొక్క 2022 Chinchilla పేపర్ అదే కంప్యూట్‌పై 70 బిలియన్ పారామీటర్ల మోడల్ 280 బిలియన్ల మోడల్‌ను ఓడించగలదని చూపింది
ఏఐ మరియు సాంకేతికత

OpenAI యొక్క 2020 స్కేలింగ్ లా పేపర్ మోడల్ లాస్ ఏడు ఆర్డర్ ఆఫ్ మాగ్నిట్యూడ్‌లకు పైగా పవర్ లా ప్రకారం తగ్గుతుందని కనుగొంది, DeepMind యొక్క 2022 Chinchilla పేపర్ అదే కంప్యూట్‌పై 70 బిలియన్ పారామీటర్ల మోడల్ 280 బిలియన్ల మోడల్‌ను ఓడించగలదని చూపింది

చిత్రణ: tuput

తెలుగు

లాంగ్వేజ్ మోడల్‌ను ఎంత పెద్దగా నిర్మించాలో నిర్ణయించడానికి ల్యాబ్‌లు వాడిన నియమాలను రెండు పేపర్లు నిర్దేశించాయి. 2020 OpenAI పేపర్ పెద్ద మోడళ్లకు మొగ్గు చూపింది, 2022 DeepMind పేపర్ మోడల్, డేటా సమానంగా పెరగాలని చెప్పింది, DeepSeek, Meta, Epoch AI, 2026 అంతర్జాతీయ AI భద్రతా నివేదిక తర్వాతి పనులు రెండింటినీ మెరుగుపరిచాయి.

· · 7 నిమిషాల పఠనం

DeepMind ఒకే శిక్షణ కంప్యూట్‌తో రెండు లాంగ్వేజ్ మోడళ్లను నిర్మించింది, చిన్నది గెలిచింది. Gopher లో 280 బిలియన్ పారామీటర్లు ఉన్నాయి, అంటే న్యూరల్ నెట్‌వర్క్ లోపల సర్దుబాటు చేయగల సంఖ్యలు, అది 300 బిలియన్ టోకెన్లు చదివింది, అంటే మోడల్ నేర్చుకునే కొన్ని అక్షరాల టెక్స్ట్ ముక్కలు. Chinchilla లో 70 బిలియన్ పారామీటర్లు ఉన్నాయి, అది 1.4 ట్రిలియన్ టోకెన్లు చదివింది. 2022 మార్చి 29న arXiv లో పోస్ట్ చేసిన DeepMind పేపర్, కొలిచిన దాదాపు ప్రతి పనిలో Chinchilla, Gopher ను ఓడించిందని నివేదిస్తుంది, వాటిలో MMLU సాధారణ జ్ఞాన టెస్ట్ ఉంది, అక్కడ అది 67.5 శాతం (పేపర్ పట్టికలో 67.6) స్కోర్ చేసింది, Gopher 60.0.

ఈ ఫలితం మోడల్‌ను నిర్మించే ముందే దాని నాణ్యతను అంచనా వేసే పద్ధతి నుంచి వచ్చింది, దాన్ని స్కేలింగ్ లా అంటారు: మోడల్ లోపాన్ని దాని పరిమాణం, శిక్షణ డేటా, ఖర్చు చేసిన కంప్యూటింగ్ శక్తికి అనుసంధానించే ఫిట్ చేసిన వక్రరేఖ. నిబంధనలను నిర్దేశించిన రెండు పేపర్లను ఈ వ్యాసం అనుసరిస్తుంది, 2020 జనవరి 23 నాటి OpenAI పేపర్, 2022 మార్చి 29 నాటి DeepMind పేపర్, తర్వాత వాటిని సర్దుబాటు చేసిన తర్వాతి పనులు: 2024 జనవరిలో DeepSeek, 2024 ఏప్రిల్‌లో బయటి రెప్లికేషన్ ప్రయత్నం, 2024 జూలైలో Meta యొక్క Llama 3, 2026 ఫిబ్రవరి 3 నాటి అంతర్జాతీయ AI భద్రతా నివేదిక. మోడల్‌కు వాస్తవంగా ఎలా శిక్షణ ఇస్తారో తెలుసుకోవడానికి మా దశలవారీ వివరణ చూడండి.

2020 పేపర్ ఏం కొలిచింది

OpenAI, Johns Hopkins University లోని జేర్డ్ కాప్లన్, సామ్ మెక్‌కాండ్లిష్, ఎనిమిది మంది సహ రచయితలు అనేక పరిమాణాల Transformer లాంగ్వేజ్ మోడళ్లకు శిక్షణ ఇచ్చి, వాటి క్రాస్-ఎంట్రోపీ లాస్‌ను పరిశీలించారు, అది మోడల్ తర్వాతి టోకెన్‌ను ఎంత చెడుగా అంచనా వేస్తుందో చెప్పే స్కోర్, తక్కువ ఉంటే మంచిది. మోడల్ పరిమాణం, డేటాసెట్ పరిమాణం, శిక్షణ కంప్యూట్‌తో లాస్ పవర్ లా ప్రకారం తగ్గుతుందని, కొన్ని ధోరణులు ఏడు ఆర్డర్ ఆఫ్ మాగ్నిట్యూడ్‌లకు పైగా విస్తరిస్తాయని సారాంశం చెబుతుంది. పవర్ లా అంటే లాగరిథమిక్ అక్షాలున్న చార్టులో సరళరేఖ: ఇన్‌పుట్ పదిరెట్లు పెరిగిన ప్రతిసారీ లాస్‌లో స్థిరమైన, ముందే చెప్పగల తగ్గుదల వస్తుంది.

ల్యాబ్‌లు తర్వాత ఏం చేశాయో మరో రెండు కనుగొనుటలు రూపొందించాయి. నెట్‌వర్క్ ఎంత లోతుగా లేదా వెడల్పుగా ఉందనే నిర్మాణ వివరాలకు విస్తృత పరిధిలో కనీస ప్రభావమే ఉంది, కాబట్టి ముఖ్యమైనది స్కేల్. స్థిర కంప్యూట్ బడ్జెట్‌కు, చాలా పెద్ద మోడళ్లకు సాపేక్షంగా తక్కువ డేటాపై శిక్షణ ఇచ్చి, కన్వర్జెన్స్ (అంటే మరింత శిక్షణ వల్ల ప్రయోజనం ఆగిపోయే బిందువు)కు చాలా ముందే ఆపితే ఉత్తమ ఫలితం వస్తుందని పేపర్ చెబుతుంది. దాని ఫిట్ చేసిన ఘాతాంకాలు మోడల్ పరిమాణం కంప్యూట్ ఘాతం 0.73 గా, డేటా కంప్యూట్ ఘాతం 0.27 గా పెరగాలని సూచిస్తాయి. DeepMind తర్వాతి పేపర్ దాన్ని ఇలా చదువుతుంది: 10 రెట్లు ఎక్కువ కంప్యూట్ ఉంటే, మోడల్ 5.5 రెట్లు పెరగాలి, శిక్షణ టోకెన్లు కేవలం 1.8 రెట్లు.

Kaplan పేపర్ తన పరిమితుల గురించి నిజాయితీగా ఉంది. ఈ నియమాలపై “మాకు దృఢమైన సైద్ధాంతిక అవగాహన లేదు” అని దాని అనుబంధం చెబుతుంది, అది లేకుండా వాటిని ఎప్పుడు నమ్మవచ్చో తెలుసుకోవడం కష్టమని అంటుంది. ఈ సలహాను అనుసరించి, ఆనాటి చాలా పెద్ద మోడళ్లు, వాటిలో GPT-3 ఒకటి, సుమారు 300 బిలియన్ టోకెన్లపై శిక్షణ పొందాయని DeepMind రచయితలు గమనిస్తారు.

పెద్ద పాన్ లేదా ఎక్కువ పదార్థాలు

వంటగది పోలిక సహాయపడుతుంది. శిక్షణ ఖర్చు సుమారు ఆరు రెట్లు పారామీటర్ల సంఖ్య రెట్లు టోకెన్ల సంఖ్య, ఈ అంచనాను Kaplan పేపర్, DeepSeek పేపర్ రెండూ వాడతాయి. పారామీటర్లను పాన్ పరిమాణంగా, టోకెన్లను పదార్థాల పరిమాణంగా ఊహించండి, వంట గంటలు స్థిరం. రెట్టింపు పెద్ద పాన్ ఎంచుకుంటే, గంటలు స్థిరంగా ఉన్నప్పుడు దాన్ని సగం మాత్రమే నింపగలరు. స్థిర బడ్జెట్‌ను పాన్, పదార్థాల మధ్య ఎలా పంచితే అత్యల్ప లాస్ వస్తుందో స్కేలింగ్ లా చెబుతుంది. ఆ సమాధానమే “కంప్యూట్-ఆప్టిమల్” అంటే.

Kaplan ఫిట్ పాన్ వైపు మొగ్గింది. DeepMind ఫిట్ రెండింటినీ సరిపోల్చడం వైపు మొగ్గింది.

2022 పరీక్ష: 400 శిక్షణ రన్‌లు, ఒక మోడల్

జోర్డాన్ హాఫ్‌మన్, లారెంట్ సిఫ్రే, వారి DeepMind సహచరులు 70 మిలియన్ల కంటే తక్కువ నుంచి 16 బిలియన్లకు పైగా పారామీటర్ల వరకు 400 కంటే ఎక్కువ మోడళ్లకు శిక్షణ ఇచ్చారు, ప్రతిదీ పలు రకాల డేటా మొత్తాలపై. ఉత్తమ విభజనను మూడు విధాలుగా అంచనా వేశారు: శిక్షణ వక్రరేఖల్లో అత్యల్ప లాస్‌ను పరిశీలించడం, స్థిర కంప్యూట్ బడ్జెట్‌ల వద్ద వక్రరేఖలను ఫిట్ చేయడం (IsoFLOP ప్రొఫైల్స్ అంటారు), లాస్‌కు నేరుగా ఒక ఫార్ములాను ఫిట్ చేయడం. ఈ మూడూ దగ్గరగా ఏకీభవించాయి. మోడల్ పరిమాణ ఘాతాంకం 0.50, 0.49, 0.46 గా వచ్చింది, డేటాకు 0.50, 0.51, 0.54, Kaplan యొక్క 0.73, 0.27 తో పోలిస్తే. మోడల్ పరిమాణం ప్రతి రెట్టింపుకూ శిక్షణ టోకెన్ల సంఖ్య కూడా రెట్టింపు కావాలని పేపర్ సారాంశం.

Gopher కు శిక్షణ ఇచ్చిన కంప్యూట్ కోసం అంచనా, దాన్ని పేపర్ 5.76 x 10^23 ఆపరేషన్లుగా చెబుతుంది, నాలుగు రెట్లు చిన్న మోడల్‌ను నాలుగు రెట్లు ఎక్కువ టోకెన్లపై శిక్షణ ఇవ్వడం. దాన్ని Chinchilla పరీక్షించింది. పేపర్ సొంత సంఖ్యలను భాగిస్తే Chinchilla కు పారామీటర్‌కు సుమారు 20 టోకెన్లు వస్తాయి, GPT-3 కు సుమారు 1.7 (175 బిలియన్ పారామీటర్లపై 300 బిలియన్ టోకెన్లు), Gopher కు 1.1. పేపర్ అంచనా ప్రకారం GPT-3 లాంటి 175 బిలియన్ పారామీటర్ల మోడల్‌కు 4.2 ట్రిలియన్లకు పైగా టోకెన్లపై 4.41 x 10^24 ఆపరేషన్లతో శిక్షణ ఇవ్వడం ఉత్తమం.

ఒక సంఖ్యను జాగ్రత్తగా చూడాలి. Chinchilla 1.3 ట్రిలియన్ టోకెన్లపై శిక్షణ పొందిందని 2022 ఏప్రిల్ 12 DeepMind బ్లాగ్ పోస్ట్ చెబుతుంది, పేపర్ తన టెక్స్ట్‌లో, మొదటి పట్టికలో 1.4 ట్రిలియన్ అంటుంది. ఈ వ్యాసం పేపర్ సంఖ్యను వాడుతుంది, పేపర్ గురించి Epoch AI సారాంశం కూడా అదే ఇస్తుంది.

DeepMind సొంత టెస్టులు కంప్యూట్-ఆప్టిమల్ అంటే ఉత్తమం కాదని కూడా చూపిస్తాయి. 540 బిలియన్ పారామీటర్లు, 768 బిలియన్ టోకెన్లతో ఉన్న Google యొక్క PaLM, Chinchilla కంటే సుమారు ఐదు రెట్లు కంప్యూట్ వాడి, పలు పనుల్లో దాన్ని మించిందని బ్లాగ్ పోస్ట్ గమనిస్తుంది. PaLM బడ్జెట్‌లో 3 ట్రిలియన్ టోకెన్లపై 140 బిలియన్ పారామీటర్ల మోడల్ ఉత్తమ ఎంపిక అయ్యేదని రచయితల పద్ధతి అంచనా వేస్తుంది.

రచయితలు తమ సొంత పరిమితులను జాబితా చేస్తారు. వారి దగ్గర Chinchilla, Gopher అనే రెండు పోల్చదగిన పెద్ద-స్థాయి రన్‌లు మాత్రమే ఉన్నాయి, మధ్యస్థ పరిమాణాల్లో ఏవీ లేవు. పవర్-లా సరిహద్దును అంచనా వేస్తూ అధిక కంప్యూట్ వద్ద కొంత వక్రత గమనిస్తారు, అది అతిపెద్ద మోడళ్ల ఆప్టిమల్ పరిమాణం ఇంకా అధికంగా అంచనా వేయబడి ఉండవచ్చని సూచిస్తుందని వారు చెబుతారు. ప్రతి రన్ తన డేటాపై ఒక పాస్ కంటే తక్కువే వాడింది.

మోడల్ నిర్మించిన తర్వాత చిన్నది ఏం ఆదా చేస్తుంది

Chinchilla సారాంశం రెండో ప్రయోజనాన్ని జోడిస్తుంది: అది చిన్నది కాబట్టి ఫైన్-ట్యూనింగ్‌కు, ఇన్ఫరెన్స్‌కు, అంటే శిక్షణ తర్వాత వినియోగదారులకు సమాధానమిచ్చే పనికి, గణనీయంగా తక్కువ కంప్యూట్ కావాలి. ప్రజాదరణ పొందిన మోడల్‌ను శిక్షణ ఇచ్చే సంఖ్య కంటే చాలా ఎక్కువసార్లు అడుగుతారు, కాబట్టి దాని నడుపు ఖర్చు ల్యాబ్ బిల్లులో పేరుకుంటుంది, చిన్న మోడల్ ఫోన్లో ఇమిడే రకం కూడా.

ల్యాబ్‌లు ఈ అంశాన్ని ఎలా వాడాయో Meta యొక్క Llama 3 పేపర్ చూపిస్తుంది. దాని బృందం తన సొంత స్కేలింగ్ లాను ఫిట్ చేసింది, మా శిక్షణ వివరణలో వివరించినట్లు, తన 405 బిలియన్ పారామీటర్ల ఫ్లాగ్‌షిప్ తన బడ్జెట్‌కు సుమారుగా కంప్యూట్-ఆప్టిమల్ పరిమాణమని చెబుతుంది. తర్వాత Meta, తన చిన్న మోడళ్లను కంప్యూట్-ఆప్టిమల్ కంటే చాలా ఎక్కువ కాలం శిక్షణ ఇచ్చానని, అదే ఇన్ఫరెన్స్ బడ్జెట్‌లో ఫలితం కంప్యూట్-ఆప్టిమల్ మోడళ్ల కంటే మెరుగ్గా పనిచేస్తుందని జతచేస్తుంది. రెప్లికేషన్ పని గురించి Epoch AI సారాంశం అదే సాధారణ అంశాన్ని చెబుతుంది: ఇన్ఫరెన్స్ ఖర్చులను తగ్గించడానికి, కనీసం ప్రీ-ట్రైనింగ్ కంప్యూట్ వరకు, కంప్యూట్-ఆప్టిమల్ మొత్తం కంటే ఎక్కువ కాలం శిక్షణ ఇచ్చిన చిన్న మోడల్‌ను వాడటం సాధారణంగా మంచిది. కాబట్టి “కంప్యూట్-ఆప్టిమల్” శిక్షణ బిల్లు గురించిన ప్రశ్నకు మాత్రమే సమాధానం ఇస్తుంది.

డేటాపై DeepSeek యొక్క 2024 జనవరి పరిశీలన

DeepSeek-AI యొక్క 2024 జనవరి 5 పేపర్ మునుపటి రెండు పేపర్ల మధ్య ఉన్న భేదాభిప్రాయం నుంచి మొదలవుతుంది, అవి వేర్వేరు ముగింపులు చూపాయని, నియమాలు ఎంత విస్తృతంగా వర్తిస్తాయనే సందేహాలు రేకెత్తించాయని అది చెబుతుంది. అది IsoFLOP పద్ధతిని వాడి వక్రరేఖలను మళ్లీ ఫిట్ చేసింది, మోడల్ పరిమాణ కొలతగా పారామీటర్ల సంఖ్య స్థానంలో ప్రతి టోకెన్‌కు నాన్-ఎంబెడ్డింగ్ FLOPs (ప్రతి టోకెన్ ఖర్చు చేసే కంప్యూట్ కొలత) వాడింది.

దాని Table 4 మూడు డేటాసెట్లపై మోడల్-పరిమాణ ఘాతాంకాన్ని ఇస్తుంది. OpenAI వరుసకు, అంటే Kaplan సంఖ్యకు, 0.73; DeepMind యొక్క MassiveText పై 0.49; DeepSeek ప్రారంభ డేటాపై 0.450, ప్రస్తుత డేటాపై 0.524, OpenWebText2 రీఫిట్‌పై 0.578. డేటా ఎంత మెరుగైతే, అదనపు కంప్యూట్‌లో అంత ఎక్కువ భాగం పెద్ద మోడల్‌కు వెళ్లాలని, నాణ్యత విభజనను మారుస్తుందని పేపర్ అభిప్రాయం. ఇది DeepSeek యొక్క సొంత డేటాసెట్లపై దాని సొంత కనుగొనుట. ఫిట్ చేసిన నియమాలు దాని 7 బిలియన్, 67 బిలియన్ పారామీటర్ల మోడళ్ల పనితీరును అంచనా వేశాయని కంపెనీ చెబుతుంది, రెండూ 2 ట్రిలియన్ టోకెన్లపై శిక్షణ పొందాయి, పెద్దదానికి అది పారామీటర్‌కు సుమారు 30 టోకెన్లు అవుతుంది.

ఒక రెప్లికేషన్ ప్రయత్నం, అది ఏం కనుగొంది

2024 ఏప్రిల్‌లో AI ధోరణులను ట్రాక్ చేసే పరిశోధన బృందం Epoch AI కు చెందిన టామే బెసిరోగ్లు, ఎగే ఎర్డిల్, మాథ్యూ బార్నెట్, జోష్ యూ, DeepMind యొక్క మూడో పద్ధతిని, అంటే ఫిట్ చేసిన ఫార్ములాను, రెప్లికేట్ చేసే ప్రయత్నాన్ని పోస్ట్ చేశారు. వారు పేపర్‌లోని ప్లాట్ల నుంచి డేటాలో కొంత భాగాన్ని పునర్నిర్మించి, అదే ఫార్ములాను ఫిట్ చేశారు.

ప్రచురించిన పారామీటర్ అంచనాలు ఆ పునర్నిర్మిత డేటాకు సరిగ్గా సరిపోవని వారు నివేదిస్తారు. ప్రచురించిన కాన్ఫిడెన్స్ ఇంటర్వల్స్ నమ్మశక్యం కాని విధంగా ఇరుకుగా ఉన్నాయని, వారి సారాంశం ప్రకారం, DeepMind బహుశా 500 కంటే తక్కువ ప్రయోగాలు నడిపినప్పుడు 600,000 కంటే ఎక్కువ ప్రయోగాలు అవసరమయ్యేంత ఇరుకని నివేదిస్తారు. ప్రచురించిన ఫార్ములా పారామీటర్‌కు సుమారు 70 టోకెన్లను సూచిస్తుందని, అది DeepMind సొంత పద్ధతులతో, Chinchilla కు శిక్షణ ఇవ్వడానికి వాడిన పారామీటర్‌కు 20 టోకెన్లతో విభేదిస్తుందని నివేదిస్తారు. వారి రీఫిట్ సుమారు 20 ఇస్తుంది, పేపర్ మిగతా రెండు పద్ధతులకు అనుగుణంగా. ఈ తేడాకు ఆప్టిమైజర్ కన్వర్జెన్స్‌కు ముందే ఆగిపోవడాన్ని, ప్రచురించిన సంఖ్యల రౌండింగ్‌ను కారణంగా వారు చెబుతారు.

అందువల్ల ఈ కనుగొనుట ఒక శీర్షిక సూచించేదానికంటే ఇరుకైనది. ఒక రెప్లికేషన్ ప్రయత్నం మూడో పద్ధతి ప్రచురిత సంఖ్యల్లో సమస్యలను కనుగొంది, దాని సమాన-స్కేలింగ్ ఫలితం మొదటి రెండింటికి అనుగుణంగా ఉందని కనుగొంది. ఇది పునర్నిర్మిత డేటాపై నిర్మించిన బయటి ప్రీప్రింట్, తుది మాట కాదు, ప్రచురించిన ఫిట్‌పై ఆధారపడిన మునుపటి పనులను సవరించాల్సి రావచ్చని Epoch అంటుంది.

2026 నివేదిక ఏం చెబుతుంది, ఒక Sarvam ఉదాహరణ

యోషువా బెంజియో నేతృత్వంలో, 30 కంటే ఎక్కువ దేశాలు, అంతర్జాతీయ సంస్థల మద్దతుతో 2026 ఫిబ్రవరి 3న ప్రచురించిన అంతర్జాతీయ AI భద్రతా నివేదిక 2026, స్కేలింగ్ లాస్‌ను మోడల్ పరిమాణం, కంప్యూట్, పనితీరు మధ్య ఊహించదగిన సంబంధాలుగా వర్ణిస్తుంది, అవి మోడల్ పరిమాణం యొక్క ఆరు ఆర్డర్ ఆఫ్ మాగ్నిట్యూడ్‌లలో నిలిచాయి. అవి గమనించిన ప్రవర్తన నుంచి ఊహించిన అనుభవ క్రమబద్ధతలని, ఇప్పటివరకు చూసిన కంప్యూట్ లేదా డేటాకు మించి అవి విఫలం కావచ్చని, 2025 జనవరి నుంచి సామర్థ్య లాభాలు మోడల్ పరిమాణం నుంచి మాత్రమే కాకుండా పోస్ట్-ట్రైనింగ్, వాడే సమయంలో అదనపు కంప్యూట్ నుంచి ఎక్కువగా వస్తున్నాయని కూడా అది చెబుతుంది.

Sarvam AI యొక్క 2026 మార్చి 6 పోస్ట్ ఒక ప్రస్తుత భారతీయ డేటా పాయింట్‌ను ఇస్తుంది. Sarvam 30B 16 ట్రిలియన్ టోకెన్లపై, Sarvam 105B 12 ట్రిలియన్లపై శిక్షణ పొందాయని, రెండూ IndiaAI మిషన్ కంప్యూట్‌పై అని అది నివేదిస్తుంది (మిషన్ GPUలు, మోడళ్లపై మా నివేదిక చూడండి). సాధారణ భాగహారం ప్రకారం అది 30B కి పారామీటర్‌కు సుమారు 530 టోకెన్లు, 105B కి సుమారు 114, Chinchilla యొక్క 20 కంటే చాలా ఎక్కువ. ఈ పోలికకు ఒక చిక్కు ఉంది, ఎందుకంటే రెండూ మిక్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ మోడళ్లు, అవి ప్రతి టోకెన్‌కు తమ పారామీటర్లలో కొంత భాగాన్ని మాత్రమే యాక్టివేట్ చేస్తాయి, 30B కి 2.4 బిలియన్ యాక్టివ్ పారామీటర్లని పోస్ట్ ఇస్తుంది. Chinchilla సొంత పోలిక డెన్స్ మోడళ్ల మధ్య, అక్కడ ప్రతి టోకెన్‌కు ప్రతి పారామీటర్ వాడతారు, 2022 పేపర్ మిక్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ డిజైన్‌లను ఇతరుల పనిగా మాత్రమే చర్చిస్తుంది. Sarvam పోస్ట్ టోకెన్ సంఖ్యలను జాబితా చేస్తుంది, వాటి వెనుక కంప్యూట్-ఆప్టిమల్ లెక్కను వివరించదు.

Share
Copied!

మూలాలు మరియు మరింత చదవడానికి

  1. Kaplan et al., OpenAI and Johns Hopkins University: Scaling Laws for Neural Language Models (arXiv:2001.08361, 23 January 2020)
  2. Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
  3. Google DeepMind: An empirical analysis of compute-optimal large language model training (blog post, 12 April 2022)
  4. Besiroglu, Erdil, Barnett and You, Epoch AI: Chinchilla Scaling, a replication attempt (arXiv:2404.10102, April 2024)
  5. Epoch AI: Chinchilla scaling, a replication attempt (summary page, 17 April 2024)
  6. DeepSeek-AI: DeepSeek LLM, Scaling Open-Source Language Models with Longtermism (arXiv:2401.02954, 5 January 2024)
  7. Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, July 2024)
  8. International AI Safety Report 2026 (published 3 February 2026)
  9. Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)

ఈ వ్యాసం AI సాధనాల సహాయంతో పరిశోధించి రాయబడింది మరియు కచ్చితత్వం కోసం సవరించబడింది. ఇది సాధారణ సమాచారం మరియు చర్చ కోసం మాత్రమే, వృత్తిపరమైన సలహా కాదు. మా సంపాదకీయ ప్రమాణాలు మరియు నిరాకరణ చూడండి. తప్పు కనిపించిందా? మాకు తెలియజేయండి.

#scaling laws#chinchilla#compute-optimal training#large language models#deepmind#openai#deepseek#sarvam ai

నచ్చిందా? తదుపరిది పొందండి.

ఒకసారి ఒక మంచి వ్యాసం, నేరుగా మీ ఇన్‌బాక్స్‌కు. స్పామ్ లేదు, ఎప్పుడైనా ఆపవచ్చు.

ఇదే విభాగంలో మరిన్ని: ఏఐ మరియు సాంకేతికత
ఎనిమిది మంది గూగుల్ రచయితలు 2017 జూన్ 12న ట్రాన్స్‌ఫార్మర్ పేపర్‌ను పోస్ట్ చేశారు; దాని పెద్ద మోడల్ ఎనిమిది జీపీయూలపై 3.5 రోజులు శిక్షణ పొంది ఇంగ్లీష్ నుంచి జర్మన్‌కు 28.4 BLEU సాధించింది
నేటి చాట్‌బాట్ల వెనుక ఉన్న డిజైన్‌ను పేపర్ సొంత పట్టికలతో, నదిని చూడాల్సిన పదం గురించి గూగుల్ ఇచ్చిన ఉదాహరణతో వివరించే కథనం. 2017 డిజైన్‌లో ఏ భాగాలను తర్వాతి మోడళ్లు ఉంచాయో, మార్చాయో, వదిలాయో కూడా ఇందులో ఉంది.
సర్వమ్ 105 బిలియన్ పారామీటర్ల మోడల్ ప్రతి టోకెన్‌కు 10.3 బిలియన్‌తోనే లెక్కిస్తుంది; 1991 పత్రం నుంచి మిక్స్‌ట్రల్, డీప్‌సీక్ వరకు సాగిన మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ డిజైన్ దీని వెనుక ఉంది
ఒక చిన్న రౌటర్ ప్రతి పదాన్ని 128 ఉప-నెట్‌వర్క్‌లలో కొన్నింటికే పంపుతుంది, కాబట్టి ఏ ఒక్క పదానికైనా మోడల్‌లో చాలా భాగం ఖాళీగా ఉంటుంది. ఈ డిజైన్ ఎక్కడి నుంచి వచ్చింది, మిక్స్‌ట్రల్, డీప్‌సీక్, సర్వమ్ దీన్ని ఎలా వాడతాయి, ఇది దేన్ని ఆదా చేయదు.
Meta 15.6 ట్రిలియన్ టోకెన్లు మరియు 30.84 మిలియన్ GPU గంటలతో Llama 3 405Bకు శిక్షణ ఇచ్చింది, మరియు OpenAI మానవ రేటర్లు 175 బిలియన్ పారామీటర్ల GPT-3 కంటే 1.3 బిలియన్ పారామీటర్ల ట్యూన్ చేసిన మోడల్‌నే ఎక్కువగా ఇష్టపడ్డారు
ఐదు పేపర్లు మరియు ఒక మోడల్ కార్డ్ ఒక చాట్‌బాట్ వెనుక ఉన్న మోడల్‌ను నిర్మించే ప్రతి దశను వివరిస్తాయి. ల్యాబ్‌లు స్వయంగా ప్రచురించిన పారామీటర్లు, టోకెన్లు, GPU గంటలు మరియు పరీక్ష ఫలితాలతో ఆ దశలు క్రమంలో ఇక్కడ ఉన్నాయి.
← అన్ని వ్యాసాలు