Skip to content
సర్వమ్ 105 బిలియన్ పారామీటర్ల మోడల్ ప్రతి టోకెన్‌కు 10.3 బిలియన్‌తోనే లెక్కిస్తుంది; 1991 పత్రం నుంచి మిక్స్‌ట్రల్, డీప్‌సీక్ వరకు సాగిన మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ డిజైన్ దీని వెనుక ఉంది
ఏఐ మరియు సాంకేతికత

సర్వమ్ 105 బిలియన్ పారామీటర్ల మోడల్ ప్రతి టోకెన్‌కు 10.3 బిలియన్‌తోనే లెక్కిస్తుంది; 1991 పత్రం నుంచి మిక్స్‌ట్రల్, డీప్‌సీక్ వరకు సాగిన మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ డిజైన్ దీని వెనుక ఉంది

చిత్రణ: tuput

తెలుగు

ఇండియాఏఐ మిషన్ కంప్యూట్‌పై భారత్‌లో శిక్షణ పొందిన సర్వమ్ ఓపెన్ 105B మోడల్, ప్రతి టోకెన్‌ను 128 ఎక్స్‌పర్ట్‌లలో 8కి పంపుతుంది, అందువల్ల ఒకేసారి 10.3 బిలియన్ పారామీటర్లను యాక్టివేట్ చేస్తుంది. ఈ ఆలోచన జాకబ్స్, జోర్డాన్, నోలన్, హింటన్ రాసిన 1991 పత్రం నాటిది, నోమ్ షజీర్ సహచరులతో రాసిన 2017 జనవరి పత్రం ద్వారా భాషా మోడళ్లకు చేరింది.

· · 7 నిమిషాల పఠనం

2026 మార్చి 6న ఓపెన్ వెయిట్స్‌గా ప్రచురించిన సర్వమ్ 105B మోడల్‌లో 105 బిలియన్ పారామీటర్లు (శిక్షణ సమయంలో నెట్‌వర్క్ నేర్చుకునే సర్దుబాటు సంఖ్యలు) ఉన్నాయి, కానీ ఏ ఒక్క టోకెన్‌కైనా వాటిలో 10.3 బిలియన్ మాత్రమే యాక్టివ్‌గా ఉంటాయని దాని హగ్గింగ్ ఫేస్ మోడల్ కార్డ్ చెబుతోంది; టోకెన్ అంటే ఒక పదం లేదా పదంలోని ఒక ముక్క. ఈ ఆదా మిక్స్చర్ ఆఫ్ ఎక్స్‌పర్ట్స్ అనే డిజైన్ నుంచి వస్తుంది. ఆ మోడల్‌ను, దాని చిన్న తోబుట్టువు 30Bని, ఇండియాఏఐ మిషన్ కింద అందించిన కంప్యూట్‌పై భారత్‌లో మొదటి నుంచీ శిక్షణ ఇచ్చామని సర్వమ్ చెబుతోంది.

మిక్స్‌ట్రల్‌లో, డీప్‌సీక్-V2లో, డీప్‌సీక్ కొత్త మోడళ్లలో ఉన్నదీ మిక్స్చర్ ఆఫ్ ఎక్స్‌పర్ట్సే. పత్రాలు, మోడల్ కార్డులు 1991 నాటి ఒక పత్రం నుంచి 137 బిలియన్ పారామీటర్లున్న 2017 నెట్‌వర్క్ వరకు, అక్కడి నుంచి 2024 నుంచి 2026 వరకు వచ్చిన ఓపెన్ మోడళ్ల వరకు ఒక రేఖను గీస్తాయి. సర్వమ్ 105B, డీప్‌సీక్-V2తో రెండు డిజైన్ లక్షణాలను పంచుకుంటుంది: ఒక షేర్డ్ ఎక్స్‌పర్ట్, అటెన్షన్ సంపీడిత రూపం; రెండూ క్రింద వివరించాం.

నెట్‌వర్క్ లోపల రౌటర్ ఏం చేస్తుంది

పదాలు కొత్తగా అనిపించే పాఠకుల కోసం, పారామీటర్లు, టోకెన్లు, ప్రీట్రైనింగ్ గురించి పెద్ద భాషా మోడల్ ఎలా శిక్షణ పొందుతుందో వివరించే మా వ్యాసం చెబుతుంది.

నేటి చాట్‌బాట్‌ల వెనుక ఉన్న డిజైన్ అయిన సాధారణ ట్రాన్స్‌ఫార్మర్‌లో, ప్రతి టోకెన్ ప్రతి లేయర్‌లోనూ ఒక ఫీడ్-ఫార్వర్డ్ బ్లాక్ గుండా వెళ్తుంది. ఆ బ్లాక్ అనేది మోడల్ ప్రాసెసింగ్‌లో ఎక్కువ భాగం చేసే పెద్ద సంఖ్యల స్టాక్. మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ మోడల్ ఆ ఒక్క బ్లాక్ స్థానంలో ఎక్స్‌పర్ట్‌లు అనే అనేక చిన్న బ్లాక్‌లను పెట్టి, ఒక రౌటర్‌ను జతచేస్తుంది. రౌటర్ అనేది ఏ టోకెన్ ఏ ఎక్స్‌పర్ట్‌కు వెళ్లాలో నిర్ణయించే చిన్న నేర్చుకునే నెట్‌వర్క్ అని, అది మిగతా మోడల్‌తో కలిసి శిక్షణ పొందుతుందని హగ్గింగ్ ఫేస్ 2023 వివరణ చెబుతుంది. మిక్స్‌ట్రల్‌పై మిస్ట్రల్ పోస్ట్ కూడా అదే చెబుతోంది: ఎక్స్‌పర్ట్‌లు, రౌటర్లు ఒకేసారి శిక్షణ పొందుతాయి.

ఫలితంగా రెండు సంఖ్యల మధ్య చీలిక వస్తుంది. హగ్గింగ్ ఫేస్ 2026 ఫిబ్రవరి మాటల్లో, మోడల్ సామర్థ్యం దాని మొత్తం పారామీటర్లపై ఆధారపడుతుంది, కానీ దాని ఇన్ఫరెన్స్ వేగం యాక్టివ్ పారామీటర్లపై ఆధారపడుతుంది. ఆ పోస్ట్ ఓపెన్ gpt-oss-20b మోడల్‌ను ఉదాహరణగా తీసుకుంటుంది: మొత్తం 21 బిలియన్ పారామీటర్లు, ప్రతి టోకెన్‌కు 32 ఎక్స్‌పర్ట్‌లలో 4 వాడకం, సుమారు 3.6 బిలియన్ యాక్టివ్. యాపిల్ M3 అల్ట్రా మెమరీ బ్యాండ్‌విడ్త్ నుంచి వేసిన వేగం అంచనా సెకనుకు సుమారు 111 టోకెన్లు వచ్చింది, కొలిచిన వేగం సుమారు 115.

ఎక్స్‌పర్ట్ అంటే ఏదో ఒక అంశంలో నిపుణుడు కాదు. 2026 పోస్ట్ ప్రకారం అది కేవలం నేర్చుకునే ఉప-నెట్‌వర్క్, “గణిత నిపుణుడు” లేదా “కోడ్ నిపుణుడు” కాదు. ఒక అధ్యయనంలో (ST-MoE) ఎన్‌కోడర్‌లోని ఎక్స్‌పర్ట్‌లు విరామచిహ్నాలు, ప్రత్యేక నామవాచకాలు వంటి టోకెన్ల సమూహాల్లో ప్రత్యేకత సంపాదించాయని, బహుభాషా ప్రయోగంలో ఏ ఒక్క ఎక్స్‌పర్ట్ కూడా ఒక్క భాషలో ప్రత్యేకత సంపాదించలేదని 2023 పోస్ట్ నివేదిస్తుంది.

1991 ఆలోచన, 2017 దూకుడు

ప్రారంభ బిందువు 1991లో న్యూరల్ కంప్యూటేషన్ జర్నల్ సంపుటి 3లో రాబర్ట్ జాకబ్స్, మైఖేల్ జోర్డాన్, స్టీవెన్ నోలన్, జెఫ్రీ హింటన్ రాసిన పత్రం. ఇది అనేక వేర్వేరు నెట్‌వర్క్‌ల వ్యవస్థ కోసం ఒక అభ్యాస విధానాన్ని వివరిస్తుంది; ప్రతి నెట్‌వర్క్ శిక్షణ కేసుల ఒక ఉపసమితిని చూసుకుంటుంది, ఒక గేటింగ్ నెట్‌వర్క్ ప్రతి కేసును ఒకటి లేదా కొన్ని ఎక్స్‌పర్ట్‌లకు పంపుతుంది, తద్వారా బరువుల మార్పులు వాటికే పరిమితమవుతాయి. ఈ ఆలోచనను మొదట జాకబ్స్, హింటన్ 1988లో పిట్స్‌బర్గ్‌లో ఒక వేసవి పాఠశాలలో సమర్పించారని పత్రంలోని ఫుట్‌నోట్ చెబుతోంది. అచ్చుల గుర్తింపు పనిని ఉప-పనులుగా విభజించి, ప్రతిదాన్ని చాలా సరళమైన ఎక్స్‌పర్ట్ నెట్‌వర్క్ పరిష్కరించేలా చేసి రచయితలు దాన్ని పరీక్షించారు.

నోమ్ షజీర్, మరో ఆరుగురు సహ-రచయితలు తదుపరి పెద్ద అడుగును 2017 జనవరి 23న పోస్ట్ చేశారు. ఆధునిక జీపీయూ క్లస్టర్లలో గణన సామర్థ్యంలో స్వల్ప నష్టాలతో మోడల్ సామర్థ్యంలో “1000 రెట్లకు మించిన మెరుగుదలలు” ఉన్నాయని వారి సారాంశం నివేదిస్తుంది. వారు నిర్మించిన లేయర్‌లో వేల సంఖ్యలో ఫీడ్-ఫార్వర్డ్ ఎక్స్‌పర్ట్‌లు ఉన్నాయి, శిక్షణ పొందగల గేటింగ్ నెట్‌వర్క్ ప్రతి ఉదాహరణకు వాటిలో ఒక విరళ మిశ్రమాన్ని ఎంచుకుంది. 137 బిలియన్ పారామీటర్ల వరకు ఉన్న ఒక లేయర్‌ను వారు పేర్చిన LSTM లేయర్ల (పాత రకం భాషా నెట్‌వర్క్) మధ్య అమర్చారు, భాషా మోడలింగ్, అనువాద బెంచ్‌మార్క్‌లలో తక్కువ గణన ఖర్చుతో ప్రచురితమైన వాటిలో ఉత్తమమైన వాటి కంటే మెరుగైన ఫలితాలు వచ్చాయని నివేదించారు. ఆ ఫలితాలు రచయితల సొంతవి. ఈ పని అధిక సమాచార ప్రసార ఖర్చులను, అస్థిర శిక్షణను ఎదుర్కొందని హగ్గింగ్ ఫేస్ వివరణ జోడిస్తుంది.

రెండు సరళీకరణలు: జీషార్డ్, స్విచ్

2020 జూన్ నాటి జీషార్డ్ పత్రం, 100 భాషల నుంచి ఇంగ్లిష్‌లోకి అనువాదం కోసం 2,048 టీపీయూ v3 యాక్సిలరేటర్లపై 4 రోజుల్లో శిక్షణ ఇచ్చిన, విరళంగా గేట్ చేసిన ఎక్స్‌పర్ట్‌లున్న బహుభాషా అనువాద మోడల్‌ను 600 బిలియన్ పారామీటర్లకు మించి విస్తరించినట్లు నివేదిస్తుంది.

విలియం ఫెడస్, బారెట్ జోఫ్, షజీర్ రాసిన స్విచ్ ట్రాన్స్‌ఫార్మర్స్ 2021 జనవరి 11న వచ్చింది. రూటింగ్‌ను సరళీకరించడం దాని ప్రధాన మార్పు. మునుపటి డిజైన్లు ప్రతి టోకెన్‌కు కనీసం రెండు ఎక్స్‌పర్ట్‌లను వాడేవని, స్విచ్ ప్రతి టోకెన్‌ను ఒక్కదానికే పంపుతుందని, దీనివల్ల రౌటర్ పని, సమాచార ప్రసారం, బ్యాచ్ పరిమాణాలు తగ్గుతూనే నాణ్యత నిలుస్తుందని రచయితలు అంటున్నారని హగ్గింగ్ ఫేస్ పేర్కొంది. అదే హార్డ్‌వేర్‌పై దాని T5-బేస్, T5-లార్జ్ ప్రారంభ బిందువులతో పోలిస్తే ప్రీ-ట్రైనింగ్ 7 రెట్లు వేగంగా జరిగిందని, T5-XXLపై 4 రెట్ల వేగ పెంపుతో ఒక ట్రిలియన్ పారామీటర్ల మోడల్ సాధ్యమైందని పత్రం నివేదిస్తుంది. పెద్ద విరళ మోడళ్లను తక్కువ ఖచ్చితత్వం ఉన్న bfloat16 సంఖ్యల్లో మొదటిసారి శిక్షణ ఇచ్చామని కూడా రచయితలు చెబుతున్నారు.

2024: మిక్స్‌ట్రల్, డీప్‌సీక్ వంటకాన్ని మార్చాయి

మిస్ట్రల్ ఏఐ మిక్స్‌ట్రల్ 8x7Bని 2023 డిసెంబర్ 11న అపాచీ 2.0 లైసెన్స్ కింద విడుదల చేసింది, దాని పత్రం 2024 జనవరి 8న వచ్చింది. ప్రతి లేయర్‌లో 8 ఎక్స్‌పర్ట్‌లు ఉంటాయి, రౌటర్ ప్రతి టోకెన్‌కు 2ను ఎంచుకుంటుంది. ఎక్స్‌పర్ట్‌లు టోకెన్ టోకెన్‌కు మారుతాయి కాబట్టి, ప్రతి టోకెన్‌కు 47 బిలియన్ పారామీటర్లకు అందుబాటు ఉంటుందని, కానీ ఒక్కో దశలో 13 బిలియన్‌నే వాడుతుందని పత్రం చెబుతోంది. మిస్ట్రల్ సొంత ప్రకటన 46.7 బిలియన్, 12.9 బిలియన్ అని ఇస్తోంది, అవి అదే సంఖ్యలకు రౌండ్ అవుతాయి; వేగాన్ని 12 బిలియన్ పారామీటర్ల మోడల్‌తో హగ్గింగ్ ఫేస్ పోలుస్తుంది. చాలా బెంచ్‌మార్క్‌లలో మిక్స్‌ట్రల్ Llama 2 70B, GPT-3.5లతో సమానంగా లేదా వాటిని మించి పనిచేస్తుందని మిస్ట్రల్ చెబుతోంది; ఇది తయారీదారు వాదన, వారు ఎంచుకున్న పరీక్షలపై కొలిచింది.

మొత్తం 8 సార్లు 7 బిలియన్ అయిన 56 బిలియన్ కాకుండా 47 బిలియన్ ఉండటానికి కారణం, ఫీడ్-ఫార్వర్డ్ బ్లాక్‌లు మాత్రమే ఎక్స్‌పర్ట్‌లుగా విడిపోవడమే. అటెన్షన్, మిగతా భాగాలు పంచుకోబడతాయని హగ్గింగ్ ఫేస్ వివరిస్తుంది.

మిక్స్‌ట్రల్ పత్రం వచ్చిన మూడు రోజులకు, 2024 జనవరి 11న డీప్‌సీక్‌మోఈ పత్రం వచ్చింది. అది రెండు మార్పులు చేసింది. ఎక్స్‌పర్ట్‌లను సన్నని ముక్కలుగా కోసి, ప్రతి టోకెన్‌కు వాటిలో ఎక్కువ వాటిని యాక్టివేట్ చేసింది; ఉమ్మడి జ్ఞానాన్ని ఉంచడానికి కొన్ని షేర్డ్ ఎక్స్‌పర్ట్‌లను పక్కన పెట్టింది, తద్వారా రూట్ చేసినవి ప్రత్యేకత సాధించగలవు. పత్రం పరీక్షల్లో 16 బిలియన్ పారామీటర్ల వెర్షన్ సుమారు 40% గణనతో LLaMA2 7Bకి సమానమైంది, 145 బిలియన్ పారామీటర్ల ప్రాథమిక వెర్షన్ 28.5% గణనతో, బహుశా 18.2% వరకు తక్కువతో, DeepSeek 67Bకి సమానమైంది. ఈ పోలికలు రచయితల సొంతవి.

డీప్‌సీక్-V2 2024 మే 7న వచ్చింది: మొత్తం 236 బిలియన్ పారామీటర్లు, ప్రతి టోకెన్‌కు 21 బిలియన్ యాక్టివేట్, 128,000 టోకెన్ల కాంటెక్స్ట్ విండో, 8.1 ట్రిలియన్ శిక్షణ టోకెన్లు. పాత డెన్స్ DeepSeek 67Bతో పోలిస్తే శిక్షణ ఖర్చు 42.5% తక్కువ, కీ-వాల్యూ కాష్ 93.3% చిన్నది, జనరేషన్ త్రూపుట్ 5.76 రెట్ల వరకు అని బృందం నివేదిస్తోంది. కీ-వాల్యూ కాష్ అంటే మోడల్ రాస్తున్నప్పుడు మునుపటి టోకెన్ల గురించి ఉంచుకునే మెమరీ; పత్రంలోని రెండో లక్షణం మల్టీ-హెడ్ లేటెంట్ అటెన్షన్ (MLA) ఆ కాష్‌ను చిన్న నిల్వ రూపంలోకి కుదించడం వల్ల ఈ తగ్గింపు వస్తుంది.

సర్వమ్ రెండు మోడళ్లు, భారత్‌లో తయారైనవి

సర్వమ్ 2026 మార్చి 6 బ్లాగ్, రెండు మోడల్ కార్డులు డిజైన్‌ను వివరంగా ఇస్తాయి. రెండు మోడళ్లూ 128 ఎక్స్‌పర్ట్‌లున్న విరళ ఎక్స్‌పర్ట్ లేయర్లను వాడతాయి, రూట్ చేసిన వాటికి అదనంగా ఒక షేర్డ్ ఎక్స్‌పర్ట్ ఎల్లప్పుడూ ఆన్‌లో ఉంటుంది.

మోడల్మొత్తం పారామీటర్లుప్రతి టోకెన్‌కు యాక్టివ్వాడిన రూటెడ్ ఎక్స్‌పర్ట్‌లు
మిక్స్‌ట్రల్ 8x7B (పత్రం)47 బిలియన్13 బిలియన్8లో 2
డీప్‌సీక్-V2 (పత్రం)236 బిలియన్21 బిలియన్డీప్‌సీక్‌మోఈ డిజైన్
సర్వమ్ 30B (మోడల్ కార్డ్)సుమారు 30 బిలియన్2.4 బిలియన్, ఎంబెడింగ్ కాకుండా128లో 6
సర్వమ్ 105B (మోడల్ కార్డ్)సుమారు 105 బిలియన్10.3 బిలియన్128లో 8

సర్వమ్ 30B యాక్టివ్ పారామీటర్లను ఎంబెడింగ్ లేయర్ లేకుండా కార్డ్ లెక్కిస్తుంది; ఆ లేయర్ టోకెన్లను సంఖ్యలుగా మార్చే లుకప్ టేబుల్. హగ్గింగ్ ఫేస్ ఫైల్ జాబితాలు 30Bకి 32 బిలియన్, 105Bకి 106 బిలియన్ పారామీటర్లను చూపుతాయి, కాబట్టి మోడల్ పేర్లు రౌండ్ చేసినవి.

రెండూ అటెన్షన్‌ను నిర్వహించే తీరులో భేదం ఉంది. కాష్‌ను తగ్గించడానికి 30B గ్రూప్డ్ క్వెరీ అటెన్షన్‌ను వాడుతుంది; దీనిలో అనేక అటెన్షన్ హెడ్‌లు నిల్వ చేసిన కీలను, విలువలను పంచుకుంటాయి (కార్డ్ 4 కీ-వాల్యూ హెడ్‌లను పేర్కొంటుంది). 105B మల్టీ-హెడ్ లేటెంట్ అటెన్షన్‌ను వాడుతుంది; కాష్‌ను కుదించడానికి డీప్‌సీక్-V2 వాడే సాంకేతికత అది, పొడవైన ఇన్‌పుట్‌ల కోసం మెమరీని మరింత తగ్గిస్తుందని సర్వమ్ వివరిస్తోంది. ప్రీ-ట్రైనింగ్‌కు 30Bకి 16 ట్రిలియన్ టోకెన్లు, 105Bకి 12 ట్రిలియన్ టోకెన్లు వాడారు.

రూటింగ్ విషయంలో, సాధారణ సాఫ్ట్‌మాక్స్‌కు బదులుగా ఎక్స్‌పర్ట్‌లకు సిగ్మాయిడ్ ఫంక్షన్లతో స్కోర్ ఇచ్చామని, ఎక్స్‌పర్ట్-బయాస్ పదాన్ని చేర్చామని సర్వమ్ చెబుతోంది. ఎక్స్‌పర్ట్‌ల మధ్య మెరుగైన సమతుల్యత, రూటింగ్ కొలాప్స్ (కొన్ని ఎక్స్‌పర్ట్‌లే ఎక్కువ ట్రాఫిక్ తీసుకునే వైఫల్యం) తగ్గడం కంపెనీ చెప్పిన కారణం. లోడ్ బ్యాలెన్సింగ్‌ను ఈ డిజైన్‌లోని కష్టమైన సమస్యల్లో ఒకటిగా హగ్గింగ్ ఫేస్ 2023 వ్యాసం వర్ణిస్తుంది; స్విచ్ ట్రాన్స్‌ఫార్మర్స్ శిక్షణ సమయంలో చేర్చిన ఒక సరళీకృత అదనపు నష్టంతో దాన్ని ఎదుర్కొంది.

సర్వమ్ రెండింటినీ అపాచీ 2.0 కింద విడుదల చేసింది, వెయిట్స్ ఏఐ కోష్, హగ్గింగ్ ఫేస్‌లో ఉన్నాయి. 30B తన సంవాద్ సంభాషణ ప్లాట్‌ఫామ్‌కు, 105B తన ఇండస్ అసిస్టెంట్‌కు శక్తినిస్తాయని దాని బ్లాగ్ చెబుతోంది. H100 చిప్‌లపై, ఒక్కో వినియోగదారుకు సరిపోలే వేగాల వద్ద Qwen3 బేస్‌లైన్ కంటే ఒక్కో జీపీయూకు 30B 3 నుంచి 6 రెట్ల త్రూపుట్ ఇస్తుందని కూడా అది నివేదిస్తోంది. ఆ సంఖ్య, భారతీయ భాషా బెంచ్‌మార్క్‌లపై అత్యాధునిక ఫలితాలు సాధించామన్న కంపెనీ వాదన సర్వమ్ సొంత ప్రకటనలే. 105B కోసం బయటి స్కోర్లు ఇండియాఏఐ మిషన్‌పై మా నివేదికలో ఉన్నాయి; విరళ మోడల్‌తో మిషన్ చేసిన మరో విడుదల, జెంటైక్యూ ధీర్ 5B, ఈ వ్యాసంలో ఉంది.

ఈ ఆలోచన ఎంత దూరం వెళ్లింది

హగ్గింగ్ ఫేస్ హబ్‌లో 2026 నవంబర్ 12న మోడల్ కార్డ్ ఉన్న డీప్‌సీక్-V4.1-ఫ్లాష్‌కు 552 బిలియన్ బ్యాక్‌బోన్ పారామీటర్లు, 10 లక్షల టోకెన్ల వరకు కాంటెక్స్ట్ ఉన్నాయి. ప్రతి విరళ లేయర్‌లో 1 షేర్డ్ ఎక్స్‌పర్ట్, 384 రూటెడ్ ఎక్స్‌పర్ట్‌లు ఉంటాయని, ప్రతి టోకెన్‌కు 6 రూటెడ్ ఎక్స్‌పర్ట్‌లు యాక్టివ్‌గా ఉంటాయని కార్డ్ చెబుతోంది. అంటే 384 రూటెడ్ ఎక్స్‌పర్ట్‌లలో 6, సుమారు 1.6%; మిక్స్‌ట్రల్ తన ఎక్స్‌పర్ట్‌లలో నాలుగో వంతును, సర్వమ్ 105B 128లో 8ను వాడతాయి. కార్డ్ 45 ట్రిలియన్ టోకెన్ల శిక్షణ కార్పస్‌ను, MIT లైసెన్స్‌ను పేర్కొంటుంది. ఒక ట్రిలియన్ పారామీటర్ల వద్ద ఇదే పద్ధతి గురించి మిస్ట్రల్ లార్జ్ 4పై మా వ్యాసంలో ఉంది.

ఈ డిజైన్ ఆదా చేయనిది

ప్రతి టోకెన్‌కు కొన్ని ఎక్స్‌పర్ట్‌లే పనిచేసినా, ప్రతి ఎక్స్‌పర్ట్ మెమరీలో ఉండాలి. సర్వమ్ మోడళ్లకు జాబితా చేసిన 32 బిలియన్, 106 బిలియన్ పారామీటర్ల ఫైల్ పరిమాణాలే ఒక యంత్రం భరించాల్సినవి. మిక్స్‌ట్రల్ తరహా మోడల్‌కు మొత్తం 47 బిలియన్ పారామీటర్లను ఉంచడానికి సరిపడా వీడియో మెమరీ కావాలని, అనేక యంత్రాల్లో అధిక త్రూపుట్ సేవలకు మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ తగినదని, తక్కువ మెమరీ, తక్కువ ట్రాఫిక్ ఉన్నప్పుడు డెన్స్ మోడల్ మంచిదని హగ్గింగ్ ఫేస్ 2023 వివరణ చెబుతోంది. ఫైన్-ట్యూనింగ్ సమయంలో విరళ మోడళ్లు ఓవర్‌ఫిట్ అయ్యే అవకాశం ఉందని, ఎక్స్‌పర్ట్‌లు 256 లేదా 512 దాటిన తర్వాత వాటిని పెంచడం వల్ల లాభాలు తగ్గుతాయని కూడా అది నివేదిస్తుంది.

Share
Copied!

మూలాలు మరియు మరింత చదవడానికి

  1. Jacobs, Jordan, Nowlan and Hinton: Adaptive Mixtures of Local Experts, Neural Computation 3, 79-87 (1991)
  2. arXiv: Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (23 January 2017)
  3. arXiv: Lepikhin et al., GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (30 June 2020)
  4. arXiv: Fedus, Zoph and Shazeer, Switch Transformers (11 January 2021)
  5. Mistral AI: Mixtral of experts (11 December 2023)
  6. arXiv: Jiang et al., Mixtral of Experts (8 January 2024)
  7. arXiv: Dai et al., DeepSeekMoE (11 January 2024)
  8. arXiv: DeepSeek-AI, DeepSeek-V2 (7 May 2024)
  9. Hugging Face: Mixture of Experts Explained (11 December 2023)
  10. Hugging Face: Mixture of Experts (MoEs) in Transformers (26 February 2026)
  11. Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
  12. Hugging Face: Sarvam-105B model card
  13. Hugging Face: Sarvam-30B model card
  14. Hugging Face: DeepSeek-V4.1-Flash model card

ఈ వ్యాసం AI సాధనాల సహాయంతో పరిశోధించి రాయబడింది మరియు కచ్చితత్వం కోసం సవరించబడింది. ఇది సాధారణ సమాచారం మరియు చర్చ కోసం మాత్రమే, వృత్తిపరమైన సలహా కాదు. మా సంపాదకీయ ప్రమాణాలు మరియు నిరాకరణ చూడండి. తప్పు కనిపించిందా? మాకు తెలియజేయండి.

#mixture of experts#sarvam ai#sarvam 105b#mixtral#deepseek#switch transformers#open-weight models#indiaai mission

నచ్చిందా? తదుపరిది పొందండి.

ఒకసారి ఒక మంచి వ్యాసం, నేరుగా మీ ఇన్‌బాక్స్‌కు. స్పామ్ లేదు, ఎప్పుడైనా ఆపవచ్చు.

ఇదే విభాగంలో మరిన్ని: ఏఐ మరియు సాంకేతికత
2026 సెప్టెంబర్ 10న విడుదలైన 552 బిలియన్ పారామీటర్ల ఓపెన్-వెయిట్ మోడల్ డీప్‌సీక్ V4.1-Flash, ప్రతి టోకెన్‌కు మెమరీ క్యాష్‌ను 890 బైట్లకు తగ్గించింది, ఇది దాని ముందటి మోడల్ క్యాష్‌లో సుమారు నాలుగో వంతు
సుదీర్ఘ సంభాషణ గురించి మోడల్‌కు ఉండే స్వల్పకాలిక జ్ఞాపకాన్ని నిలుపుకోవడం ఖరీదైనది. డీప్‌సీక్ సెప్టెంబర్ విడుదల దాన్ని డిజైన్ ద్వారానే కుదిస్తుంది, మోడల్ ఇంకా ఎక్కడ వెనుకబడి ఉందో దాని సొంత నివేదికే చెబుతోంది. ఇక్కడ యంత్రాంగం, 2024 నుంచి కాలక్రమం, బయటివారు ఏమి తనిఖీ చేశారో ఉన్నాయి.
Sarvam Vision 2.1 ఇంగ్లిష్‌ను, షెడ్యూల్‌లోని 22 భారతీయ భాషలను చదువుతుంది, చేతిరాత, ఫారమ్ ఎక్స్‌ట్రాక్షన్‌ను జోడించింది, Sarvam సొంత టెస్టుల్లో olmOCR-Bench లో 87.3 స్కోర్ చేసింది
బెంగళూరు కంపెనీ మోడల్ ఇప్పుడు 22 భారతీయ భాషల్లో ఫారమ్‌లు, పట్టికలు, చేతిరాతను చదువుతుంది. విడుదల పోస్ట్, పబ్లిక్ బెంచ్‌మార్క్ పేజీలు, సమస్య వెనుక ఉన్న లిపి నియమాలు, ప్రతి స్కోర్ ఎవరు టెస్ట్ నడిపారో గుర్తించి.
OpenAI యొక్క 2020 స్కేలింగ్ లా పేపర్ మోడల్ లాస్ ఏడు ఆర్డర్ ఆఫ్ మాగ్నిట్యూడ్‌లకు పైగా పవర్ లా ప్రకారం తగ్గుతుందని కనుగొంది, DeepMind యొక్క 2022 Chinchilla పేపర్ అదే కంప్యూట్‌పై 70 బిలియన్ పారామీటర్ల మోడల్ 280 బిలియన్ల మోడల్‌ను ఓడించగలదని చూపింది
మోడల్ పరిమాణం, దాని శిక్షణ టెక్స్ట్, కంప్యూట్ బిల్లు ఒకదానికొకటి వ్యాపారం చేసుకోగలవు. ప్రతి పేపర్ ఏం కొలిచింది, ప్రతి ఒక్కటి ముద్రించిన సంఖ్యలు, ఒక రెప్లికేషన్ ప్రయత్నం, నియమాలు ఎంతవరకు వర్తిస్తాయో 2026 భద్రతా నివేదిక ఏం చెబుతుంది.
← అన్ని వ్యాసాలు