చిత్రణ: tuput
తెలుగు
2017 నాటి ఈ పేపర్ పదాలను ఒక్కొక్కటిగా చదివే పద్ధతిని వదిలి, వాక్యంలోని ప్రతి పదం మిగతా అన్ని పదాలను ఒకేసారి చూసేలా చేసింది. దాని పెద్ద మోడల్ ఇంగ్లీష్ నుంచి జర్మన్కు అంతకుముందు ఉత్తమ ఫలితాలను 2 BLEUకి పైగా మించింది. లామా 3, జెమిని 1.0, డీప్సీక్-V3, సర్వమ్ 105Bలను వాటి తయారీదారులు ట్రాన్స్ఫార్మర్లుగానే వర్ణిస్తున్నారు.
2017 జూన్ 12న ఎనిమిది మంది పరిశోధకులు “Attention Is All You Need” అనే పేపర్ను arXiv ప్రీప్రింట్ సర్వర్కు పోస్ట్ చేశారు. అది ట్రాన్స్ఫార్మర్ను వివరించింది; దాని అబ్స్ట్రాక్ట్ మాటల్లో చెప్పాలంటే, అది “కేవలం అటెన్షన్ యంత్రాంగాలపై ఆధారపడిన, రికరెన్స్నూ కన్వల్యూషన్లనూ పూర్తిగా వదిలేసిన” నెట్వర్క్. పేపర్ పెద్ద మోడల్ WMT 2014 ఇంగ్లీష్-జర్మన్ పరీక్షలో 28.4 BLEU సాధించింది; BLEU అనేది అనువాదాల ప్రామాణిక స్కోరు, ఎక్కువైతే మంచిది. అది అంతకుముందు ఉత్తమ ఫలితాలను, ఎన్సెంబుల్లతో సహా, 2 BLEUకి పైగా మించిందని అబ్స్ట్రాక్ట్ చెబుతోంది; శిక్షణకు ఎనిమిది ఎన్విడియా P100 జీపీయూలపై 3.5 రోజులు పట్టిందని సెక్షన్ 6.1 చెబుతోంది.
రచయితలు అశిష్ వాస్వానీ, నోమ్ షజీర్, నికీ పర్మార్, జాకబ్ ఉజ్కోరైట్, లియాన్ జోన్స్, ఐడన్ గోమెజ్, లుకాష్ కైజర్, ఇల్లియా పోలోసుఖిన్; వారిని గూగుల్ బ్రెయిన్, గూగుల్ రీసెర్చ్, యూనివర్సిటీ ఆఫ్ టొరంటో కింద పేర్కొన్నారు. పేర్ల క్రమం యాదృచ్ఛికమని, ఎనిమిది మందీ సమానంగా తోడ్పడ్డారని చెప్పే ఫుట్నోట్ పేపర్లో ఉంది. దీన్ని 2017లో కాలిఫోర్నియాలోని లాంగ్ బీచ్లో జరిగిన కాన్ఫరెన్స్ ఆన్ న్యూరల్ ఇన్ఫర్మేషన్ ప్రాసెసింగ్ సిస్టమ్స్లో (అప్పటి పేరు NIPS) ప్రదర్శించారు (ప్రొసీడింగ్స్ పేజీ దీన్ని 30వ సంపుటంలో చూపుతోంది). ఆర్కిటెక్చర్ను ఎంచుకున్న తర్వాత ఏం జరుగుతుందో పెద్ద భాషా మోడల్కు శిక్షణ ఎలా ఇస్తారు కథనం వివరిస్తుంది. ఈ కథనం ఆర్కిటెక్చర్ గురించి.
పదాలను ఒక్కొక్కటిగా చదవడం ఎందుకు అడ్డంకి అయింది
2017కు ముందు ప్రముఖ అనువాద వ్యవస్థలు రికరెంట్ న్యూరల్ నెట్వర్క్లను వాడేవి. అవి ఎలా పని చేస్తాయో పేపర్ వివరిస్తుంది: రికరెంట్ నెట్వర్క్ పదాలను క్రమంగా చదువుతూ ప్రతి స్థానంలో ఒక నడుస్తున్న సారాంశాన్ని తయారు చేస్తుంది; ఆ సారాంశం అంతకుముందు సారాంశం నుంచి, ప్రస్తుత పదం నుంచి లెక్కించబడుతుంది. ప్రతి అడుగుకూ ముందు అడుగు అవసరం కాబట్టి ఈ డిజైన్ “శిక్షణ ఉదాహరణల లోపల సమాంతరీకరణను అడ్డుకుంటుంది” అని పేపర్ చెబుతోంది. ఒక వాక్యానికి సంబంధించిన అడుగులను సమాంతరంగా నడపలేకపోయారు.
2017 ఆగస్టు 31 నాటి జాకబ్ ఉజ్కోరైట్ గూగుల్ బ్లాగ్ పోస్టు ఒక నిర్దిష్ట ఉదాహరణ ఇస్తుంది. “I arrived at the bank after crossing the…” అనే వాక్యంలో “bank” అంటే నది ఒడ్డా, రుణమిచ్చే సంస్థా అని నిర్ణయించడానికి నెట్వర్క్కు వాక్యంలోని చివరి పదం, అంటే “river” లేదా “road”, కావాలి. రికరెంట్ నెట్వర్క్ “bank”కూ “river”కూ మధ్య ఉన్న ప్రతి పదాన్నీ అడుగడుగునా చదివిన తర్వాతే దాన్ని తేల్చగలదని, ఒక నిర్ణయానికి ఎన్ని అడుగులు కావాలో అంత నెట్వర్క్కు నేర్చుకోవడం కష్టమవుతుందని ఆ పోస్టు చెబుతోంది. శిక్షణకు వాడే చిప్లైన జీపీయూలు, టీపీయూలు సమాంతర పనిలో నైపుణ్యం కలిగి, వరుస పనిలో బలహీనంగా ఉంటాయని కూడా పోస్టు జతచేస్తోంది.
మరో ప్రధాన డిజైన్ అయిన కన్వల్యూషనల్ నెట్వర్క్లు తక్కువ వరుసక్రమంలో ఉంటాయి. ByteNet, ConvS2S అనే మోడళ్లలో రెండు దూరపు పదాలను కలపడానికి కావాల్సిన అడుగుల సంఖ్య వాటి మధ్య దూరంతో ఇంకా పెరుగుతుందని, ConvS2Sలో రేఖీయంగా, ByteNetలో లాగరిథమిక్గా పెరుగుతుందని పేపర్ పేర్కొంది.
ట్రాన్స్ఫార్మర్కు ముందే అటెన్షన్ ఉంది
అటెన్షన్ ఆలోచన ముందే వచ్చి, రికరెంట్ నెట్వర్క్లకు జోడించబడింది. 2014 సెప్టెంబర్ 1న డిమిత్రి బహ్దనౌ, క్యూంగ్హ్యున్ చో, యోషువా బెంజియో ఒక పేపర్ను సమర్పించారు; అది తర్వాత ICLR 2015లో ఓరల్ ప్రెజెంటేషన్ అయింది. ఆ పేపర్ ప్రామాణిక డిజైన్లోని ఒక బలహీనతను ఎత్తుకుంది. సాధారణ ఎన్కోడర్-డీకోడర్ డీకోడర్ అనువాదం మొదలుపెట్టే ముందు మొత్తం మూల వాక్యాన్ని ఒకే స్థిర పొడవు వెక్టర్లోకి ఇరికించేది. ఇది అడ్డంకి అని రచయితలు ఊహించి, మోడల్ తాను రాసే ప్రతి పదానికీ సంబంధించిన స్థానాల కోసం మూల వాక్యాన్ని “సాఫ్ట్-సెర్చ్” చేసేలా చేశారు. ఇంగ్లీష్ నుంచి ఫ్రెంచ్కు అప్పటి ఉత్తమ ఫ్రేజ్-ఆధారిత వ్యవస్థతో పోల్చదగిన అనువాద నాణ్యతను వారు నమోదు చేశారు.
ఒక ఏడాది తర్వాత స్టాన్ఫోర్డ్కు చెందిన మిన్-తాంగ్ లువాంగ్, హియూ ఫామ్, క్రిస్టోఫర్ మానింగ్ ఇంగ్లీష్-జర్మన్ అనువాదంలో రెండు రకాల అటెన్షన్ను పరీక్షించారు. అటెన్షన్ లేని పోల్చదగిన వ్యవస్థలపై 5.0 BLEU లాభాన్ని, WMT 2015 ఇంగ్లీష్-జర్మన్ పనిలో 25.9 BLEU సాధించిన కలిపిన మోడల్ను వారి అబ్స్ట్రాక్ట్ నమోదు చేస్తుంది.
అప్పటికి అటెన్షన్ను సాధారణంగా ఎలా వాడేవారో ట్రాన్స్ఫార్మర్ పేపర్ చెబుతుంది: “కొన్ని సందర్భాలు మినహా అన్నింటిలో” అది రికరెంట్ నెట్వర్క్తో పాటే ఉండేది. ఎనిమిది మంది రచయితలు ప్రతిపాదించింది అటెన్షన్ను ఉంచి రికరెంట్ భాగాన్ని తొలగించడం. పేపర్లోని తోడ్పాటు ఫుట్నోట్లో, రికరెంట్ నెట్వర్క్ల స్థానంలో సెల్ఫ్-అటెన్షన్ను ప్రతిపాదించిన ఘనత ఉజ్కోరైట్కు ఇవ్వబడింది.
ఒక పదం మిగతా వాక్యాన్ని ఎలా చూస్తుంది
సెల్ఫ్-అటెన్షన్ అంటే ఒకే వాక్యం లోపల వర్తింపజేసే అటెన్షన్. గూగుల్ బ్లాగ్ పోస్టు దాన్ని అదే “bank” ఉదాహరణతో వివరిస్తుంది. “bank”కు మెరుగైన రూపాన్ని లెక్కించడానికి ట్రాన్స్ఫార్మర్ ఆ పదాన్ని వాక్యంలోని ప్రతి ఇతర పదంతో పోలుస్తుంది. ప్రతి పోలిక ఒక అటెన్షన్ స్కోరును ఇస్తుంది. ప్రతి ఇతర పదం ఎంత తోడ్పడుతుందో ఆ స్కోర్లు నిర్ణయిస్తాయి, కాబట్టి “river”కు ఎక్కువ స్కోరు రావచ్చు. తర్వాత మోడల్ అన్ని పదాల రూపాల బరువుల సగటును తీసుకుని, దాన్ని ఒక చిన్న ఫీడ్-ఫార్వర్డ్ నెట్వర్క్ ద్వారా పంపి కొత్త రూపాన్ని తయారు చేస్తుంది. ప్రతి పదం ప్రతి ఇతర పదాన్ని నేరుగా చూడగలదు కాబట్టి మోడల్ “river”పై దృష్టి పెట్టి, ఆ నిర్ణయాన్ని ఒకే అడుగులో తీసుకోగలదని పోస్టు చెబుతోంది.
పోలికలోని భాగాలకు పేపర్ పేర్లు పెట్టింది. అటెన్షన్ ఫంక్షన్ ఒక క్వెరీని, కీ-వాల్యూ జంటల సమితిని ఒక అవుట్పుట్కు మ్యాప్ చేస్తుంది; అవుట్పుట్ అనేది వాల్యూల బరువు ఆధారిత మొత్తం. ప్రతి వాల్యూపై బరువు, క్వెరీని ఆ వాల్యూ కీతో పోల్చడం నుంచి వస్తుంది. దీన్ని ఇలా చదవవచ్చు: ప్రతి పదం ఒక ప్రశ్న అడుగుతుంది (క్వెరీ), వాక్యంలోని ప్రతి పదం ఒక లేబుల్ను (కీ), కొంత విషయాన్ని (వాల్యూ) అందిస్తుంది, బాగా సరిపోలిన లేబుళ్లు ఎక్కువ విషయాన్ని ఇస్తాయి. పేపర్ రూపం క్వెరీని కీలతో గుణించి, కీ పరిమాణపు వర్గమూలంతో భాగించి, ఫలితాలను మొత్తం ఒకటి అయ్యే బరువులుగా మారుస్తుంది.
ఈ భాగహారానికి కారణాన్ని రచయితలు అనుమానంగా చెబుతారు: కీలు పెద్దవైతే లబ్ధాలు పెద్దవై, బరువులు తయారుచేసే ఫంక్షన్ను చాలా నెమ్మదిగా నేర్చుకునే ప్రాంతంలోకి నెడతాయి. అనువాదాన్ని పదం పదంగా రాసే డీకోడర్ కూడా తన తర్వాతి స్థానాలను తనకు కనబడకుండా దాచుకుంటుంది, తద్వారా అంచనా ఇప్పటికే తెలిసిన పదాలపైనే ఆధారపడగలదు.
గూగుల్ పోస్టు రెండో ఉదాహరణ ఇస్తుంది: రెండు వాక్యాల జంటలో “it” ఒక దానిలో జంతువును, మరొకదానిలో వీధిని సూచిస్తుంది. ఫ్రెంచ్లోకి అనువదించడం నామవాచకం లింగంపై ఆధారపడుతుందని, అక్కడ “animal”, “street” లింగంలో వేరుగా ఉంటాయని పోస్టు చెబుతోంది. గూగుల్ చెప్పిన ప్రకారం, అప్పట్లో వాడుకలో ఉన్న గూగుల్ ట్రాన్స్లేట్ మోడల్ చేయలేనిచోట ట్రాన్స్ఫార్మర్ రెండు వాక్యాలనూ సరిగా అనువదించింది, ఒక అటెన్షన్ హెడ్ చార్టు ప్రతి నామవాచకంపై చూపిన అటెన్షన్ సందర్భాన్ని బట్టి మారడాన్ని చూపింది. అది ఒక వాక్య జంటపై గూగుల్ సొంతంగా చేసిన ప్రదర్శన, స్వతంత్ర పరీక్ష కాదు.
ఎనిమిది హెడ్లు, పదాల క్రమానికి ఒక ఉపాయం
అన్ని పదాలను ఒకే మిశ్రమంగా సగటు చేయడం వల్ల వివరాలు పోతాయి, అందుకే పేపర్ అనేక అటెన్షన్ ఆపరేషన్లను పక్కపక్కనే నడుపుతుంది, దాన్ని మల్టీ-హెడ్ అటెన్షన్ అంటుంది. బేస్ మోడల్ ఎనిమిది హెడ్లను వాడుతుంది. ప్రతి హెడ్ 512 సంఖ్యల రూపంలోని 64 సంఖ్యల భాగంపై పని చేస్తుంది, చివర్లో ఫలితాలను కలుపుతారు, కాబట్టి మొత్తం ఖర్చు పూర్తి వెడల్పుపై పని చేసే ఒక్క హెడ్కు దగ్గరగానే ఉంటుంది.
పేపర్లోని పట్టిక 3 ఈ ఎంపికను డెవలప్మెంట్ సెట్పై పరీక్షిస్తుంది (2014 న్యూస్ టెస్ట్ సెట్ కాకుండా 2013 సెట్). ఒక్క హెడ్ ఉత్తమ సెట్టింగ్ కంటే 0.9 BLEU తక్కువ స్కోరు చేసింది, హెడ్లు చాలా ఎక్కువైనప్పుడు కూడా నాణ్యత పడిపోయింది. వ్యక్తిగత హెడ్లు వేర్వేరు పనులను నేర్చుకుంటున్నట్లు కనిపిస్తున్నాయని, చాలా హెడ్లు వాక్యాల వ్యాకరణంతో, అర్థంతో సంబంధం ఉన్నట్లు అనిపిస్తున్నాయని రచయితలు సెల్ఫ్-అటెన్షన్పై తమ చర్చలో జతచేస్తారు. అది అటెన్షన్ చార్టులను పరిశీలించి చేసిన పరిశీలన, రుజువు కాదు.
రికరెన్స్ లేని నెట్వర్క్కు పదాల క్రమం గురించి తెలియదు, ఎందుకంటే అన్ని పదాలనూ కలిపి చూస్తారు. రచయితలు దీన్ని ప్రతి పదం రూపానికి స్థాన సమాచారాన్ని జోడించడం ద్వారా సరిచేశారు; దానికి వేర్వేరు తరంగ దైర్ఘ్యాల సైన్, కోసైన్ తరంగాలను వాడారు. స్థానాలను నేర్చుకునేలా చేయడాన్ని కూడా ప్రయత్నించారు; రెండు రూపాలు దాదాపు ఒకే ఫలితాలు ఇచ్చాయి: డెవలప్మెంట్ సెట్పై బేస్ మోడల్కు 25.7 BLEUకి వ్యతిరేకంగా 25.8. శిక్షణలో చూసిన వాక్యాల కంటే పొడవైన వాక్యాలను అది బాగా నిర్వహించవచ్చని సైన్ రూపాన్ని ఉంచారు.
2017 డిజైన్లో తర్వాతి మోడళ్లు మార్చిన ఒక భాగం ఇది. సర్వమ్ 2026 మార్చి బ్లాగ్ పోస్టు తన మోడళ్ల ఫీచర్లలో రోటరీ పొజిషనల్ ఎంబెడ్డింగ్లను పేర్కొంది; పొడవైన కాంటెక్స్ట్లకు మద్దతుగా తన రోటరీ ఎంబెడ్డింగ్ల బేస్ ఫ్రీక్వెన్సీని 5,00,000కు పెంచినట్లు మెటా లామా 3 పేపర్ చెబుతోంది.
ఇది ఎందుకు వేగంగా శిక్షణ పొందింది
పేపర్లోని పట్టిక 1 లేయర్ రకాలను పోలుస్తుంది. సెల్ఫ్-అటెన్షన్ లేయర్ ఏ రెండు స్థానాలనైనా స్థిరమైన సంఖ్యలో వరుస ఆపరేషన్లతో కలుపుతుంది, రికరెంట్ లేయర్కు వాక్యం పొడవుతో పెరిగే సంఖ్య కావాలి. పేపర్ బేస్ మోడల్ ఎనిమిది ఎన్విడియా P100 జీపీయూలున్న ఒక మెషీన్పై 1,00,000 అడుగులు, అంటే సుమారు 12 గంటలు శిక్షణ పొందింది. పెద్ద మోడల్కు 3,00,000 అడుగులు, 3.5 రోజులు పట్టింది. శిక్షణ ఒక పరిమాణ శ్రేణి వరకు వేగవంతమైందని గూగుల్ బ్లాగ్ చెబుతోంది; అది గూగుల్ తన ప్రయోగాల నుంచి చేసిన సొంత వాదన.
తర్వాతి ప్రమాణాల ప్రకారం ఆ మోడల్ చిన్నది. పట్టిక 3 బేస్ మోడల్కు 6.5 కోట్ల పారామీటర్లను, పెద్దదానికి 21.3 కోట్లను చూపుతోంది; పారామీటర్లు అంటే నెట్వర్క్ లోపల సర్దుబాటయ్యే సంఖ్యలు. ఏడేళ్ల తర్వాత వర్ణించిన మెటా లామా 3 ఫ్లాగ్షిప్కు 405 బిలియన్లు ఉన్నాయి, అంటే సుమారు 1,900 రెట్లు.
సెల్ఫ్-అటెన్షన్కు దాని సొంత ఖర్చు ఉంది. ప్రతి పదాన్ని ప్రతి ఇతర పదంతో పోల్చడం అంటే ప్రతి లేయర్లో పని వాక్యం పొడవు వర్గంతో పెరుగుతుంది, వాక్యం రూపం వెడల్పు కంటే తక్కువ ఉన్నప్పుడు మాత్రమే సెల్ఫ్-అటెన్షన్ రికరెంట్ లేయర్ కంటే చౌక అని పేపర్ చెబుతోంది. చాలా పొడవైన ఇన్పుట్ల కోసం అటెన్షన్ను దగ్గరి పదాల పరిసరానికి పరిమితం చేయాలని రచయితలు భవిష్యత్ పనిగా సూచించారు. పొడవైన పాఠాలపై శిక్షణను ఆలస్యంగా చేయడానికి మెటా పేపర్ అదే కారణం చెబుతోంది: సెల్ఫ్-అటెన్షన్ కంప్యూట్ సీక్వెన్స్ పొడవుతో వర్గంగా పెరుగుతుంది, అందుకే లామా 3 తన 1,28,000-టోకెన్ కాంటెక్స్ట్ను ప్రీట్రైనింగ్ చివరి దశల్లో చేరుకుంది.
సంఖ్యలు, భిన్నంగా ఉన్న ఒక సంఖ్య
పేపర్ ప్రధాన ఫలితాలు WMT 2014 అనువాద పనిలోని newstest2014 సెట్లపై ఉన్నాయి. ఇంగ్లీష్ నుంచి జర్మన్కు, పట్టిక 2 పెద్ద మోడల్ను 28.4 BLEUగా, అంతకుముందు ఉత్తమ ఎంట్రీ అయిన ConvS2S మోడళ్ల ఎన్సెంబుల్ 26.36గా చూపుతోంది. ఇంగ్లీష్ నుంచి ఫ్రెంచ్కు అబ్స్ట్రాక్ట్, పట్టిక 2 ఒకే మోడల్కు 41.8 BLEU ఇస్తున్నాయి, అదే పేపర్లోని సెక్షన్ 6.1 లో ఒక వాక్యం 41.0 అంటోంది. పట్టిక, అబ్స్ట్రాక్ట్ ఒకదానితో ఒకటి సరిపోతాయి, పాఠ్యం భిన్నంగా ఉంది, అందుకే ఇక్కడ ఆ సంఖ్యను అబ్స్ట్రాక్ట్లో ఉన్నట్లే ఇచ్చి, తేడాను గమనించాం.
రచయితలు మోడల్ను వేరే పనిపై కూడా ప్రయత్నించారు: ఇంగ్లీష్ కాన్స్టిట్యూయెన్సీ పార్సింగ్, ఇది వాక్య వ్యాకరణ నిర్మాణానికి లేబుళ్లు పెడుతుంది. నాలుగు లేయర్ల ట్రాన్స్ఫార్మర్ వాల్ స్ట్రీట్ జర్నల్ డేటాపైనే శిక్షణ పొంది 91.3 F1, అదనపు సెమీ-సూపర్వైజ్డ్ డేటాతో 92.7 సాధించింది. ఒక దానిని తప్ప, అంటే రికరెంట్ న్యూరల్ నెట్వర్క్ గ్రామర్ను తప్ప, అంతకుముందు నివేదించిన అన్ని మోడళ్లను ఇది మించిందని పేపర్ చెబుతోంది. అదే నెట్వర్క్ కొద్దిపాటి మార్పులతోనే ఒక్కటి తప్ప అంతకుముందు పద్ధతులన్నింటినీ మించిందని గూగుల్ పోస్టు చెబుతోంది.
ఫలితాలు రచయితల సొంతవి, ప్రచురితమైన సంఖ్యలతో పోల్చి కొలిచినవి. పేపర్ కోడ్ను tensor2tensor లైబ్రరీలో విడుదల చేశారు, హార్వర్డ్ NLP యొక్క Annotated Transformer మోడల్ను అమలు చేయగల నోట్బుక్గా పంక్తి పంక్తిగా మళ్లీ రూపొందిస్తుంది.
లామా, జెమిని, డీప్సీక్, సర్వమ్లలో ఏది నిలిచింది, ఏది మారింది
రచయితలు ట్రాన్స్ఫార్మర్ను పాఠ్యానికి ఆవల, చిత్రాలు, ఆడియో, వీడియోలకు విస్తరించాలని ప్రణాళిక వేసుకున్నారని పేపర్ ముగింపు చెబుతోంది. ఆ పని అప్పటికే మొదలైందని గూగుల్ 2017 పోస్టు చెప్పింది. 2018 అక్టోబర్ నాటికి గూగుల్ BERT పేపర్ తన మోడల్ను బహుళ-లేయర్ ద్విదిశాత్మక ట్రాన్స్ఫార్మర్ ఎన్కోడర్ అని పిలిచి, OpenAI యొక్క GPTని ప్రతి టోకెన్ అంతకుముందు వాటిపైనే దృష్టి పెట్టే ఎడమ నుంచి కుడికి ట్రాన్స్ఫార్మర్గా వర్ణించింది. తర్వాత వచ్చిన మోడళ్లను హగ్గింగ్ ఫేస్ కోర్సు GPT వంటివి, BERT వంటివి, సీక్వెన్స్-టు-సీక్వెన్స్ కుటుంబాలుగా విభజిస్తుంది.
నేటి పెద్ద మోడళ్ల తయారీదారులు తమ పనిని ఇవే మాటల్లో వర్ణిస్తున్నారు. లామా 3 “ప్రామాణికమైన, డెన్స్ ట్రాన్స్ఫార్మర్ ఆర్కిటెక్చర్ను వాడుతుంది” అని, దాని లాభాలు ప్రధానంగా డేటా నాణ్యత, వైవిధ్యం, స్థాయి నుంచి వస్తాయని మెటా పేపర్ చెబుతోంది. శిక్షణ స్థిరత్వం కోసం మెటా మిక్స్చర్-ఆఫ్-ఎక్స్పర్ట్స్ కంటే డెన్స్ మోడల్ను ఎంచుకుంది. దాని చిన్న మార్పుల్లో గ్రూప్డ్ క్వెరీ అటెన్షన్ ఉంది, 8 కీ-వాల్యూ హెడ్లతో, మోడల్ రాస్తున్నప్పుడు ఉంచుకునే మెమరీని తగ్గించడానికి. గూగుల్ జెమిని నివేదిక జెమిని మోడళ్లు స్థిరమైన శిక్షణ కోసం, గూగుల్ టీపీయూ చిప్ల కోసం మెరుగుదలలతో “ట్రాన్స్ఫార్మర్ డీకోడర్ల పైన నిర్మితమయ్యాయి” అని చెప్పి, వాటిలో మల్టీ-క్వెరీ అటెన్షన్ను పేర్కొంది.
డీప్సీక్ V3 నివేదిక తన ప్రాథమిక ఆర్కిటెక్చర్ ట్రాన్స్ఫార్మర్ చట్రంలోనే ఉందని, మల్టీ-హెడ్ లేటెంట్ అటెన్షన్తో (దీన్ని సర్వమ్ మెమరీ వాడకాన్ని తగ్గించే సంపీడిత అటెన్షన్ రూపంగా వర్ణిస్తుంది), మిక్స్చర్-ఆఫ్-ఎక్స్పర్ట్స్ ఫీడ్-ఫార్వర్డ్ లేయర్తో ఉందని చెబుతోంది. మోడల్కు మొత్తం 671 బిలియన్ పారామీటర్లు ఉన్నాయి, ప్రతి టోకెన్కు 37 బిలియన్లు వాడతారు. సర్వమ్ AI తన 30 బిలియన్, 105 బిలియన్ పారామీటర్ల మోడళ్లను 128 ఎక్స్పర్ట్స్తో కూడిన మిక్స్చర్-ఆఫ్-ఎక్స్పర్ట్స్ ట్రాన్స్ఫార్మర్ బ్యాక్బోన్గా వర్ణిస్తోంది. 30B గ్రూప్డ్ క్వెరీ అటెన్షన్ను, 105B మల్టీ-హెడ్ లేటెంట్ అటెన్షన్ను వాడతాయి. రెండింటినీ భారత్లో ఇండియాఏఐ మిషన్ కింద అందించిన కంప్యూట్పై శిక్షణ ఇచ్చామని, అపాచీ 2.0 లైసెన్స్ కింద విడుదల చేశామని సర్వమ్ చెబుతోంది; ఇది ఇండియాఏఐ మిషన్ కథనం, భారత్ తన సొంత భాషల్లో ఏఐని నిర్మిస్తున్న తీరు కథనాల్లో ఉంది. ట్రాన్స్ఫార్మర్ ఏ పని కోసం నిర్మితమైందో ఆ అనువాదమే భాషిణి, AI4Bharat కథనం అంశం కూడా; అది 22 షెడ్యూల్డ్ భారతీయ భాషల కోసం ఓపెన్ అనువాద మోడళ్లను వివరిస్తుంది.
వీటన్నింటిలో 2017 నాటి సెల్ఫ్-అటెన్షన్ లేయరే ఇప్పటికీ కేంద్రం; మార్పులన్నీ కీలు, వాల్యూలను ఎలా నిల్వ చేస్తారో, స్థానాలను ఎలా ఎన్కోడ్ చేస్తారో, ఒకే ఫీడ్-ఫార్వర్డ్ లేయర్ స్థానంలో ఏది వస్తుందో అనే వాటిలో ఉన్నాయి. 2017 పెద్ద మోడల్కు 6 లేయర్లు, 16 హెడ్లు ఉన్నాయి; మెటా పేపర్ లామా 3 405Bకి 126 లేయర్లు, 128 అటెన్షన్ హెడ్లు ఇచ్చింది.
మూలాలు మరియు మరింత చదవడానికి
- Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (submitted 12 June 2017, abstract page)
- Vaswani et al.: Attention Is All You Need, full paper as presented at NIPS 2017 (PDF)
- NeurIPS Proceedings: Attention is All you Need (Advances in Neural Information Processing Systems 30, 2017)
- Google Research blog, Jakob Uszkoreit: Transformer, A Novel Neural Network Architecture for Language Understanding (31 August 2017)
- Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473 (submitted 1 September 2014, ICLR 2015)
- Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate (full paper, PDF)
- Luong, Pham and Manning, Stanford: Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 (2015)
- Devlin et al., Google AI Language: BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805
- Gemini Team, Google: Gemini, A Family of Highly Capable Multimodal Models, arXiv:2312.11805
- Llama Team, AI @ Meta: The Llama 3 Herd of Models, arXiv:2407.21783 (23 July 2024)
- DeepSeek-AI: DeepSeek-V3 Technical Report, arXiv:2412.19437
- Sarvam AI: Open-Sourcing Sarvam 30B and 105B (6 March 2026)
- Harvard NLP and collaborators: The Annotated Transformer (line-by-line implementation of the paper)
- Hugging Face LLM Course: How do Transformers work?
ఈ వ్యాసం AI సాధనాల సహాయంతో పరిశోధించి రాయబడింది మరియు కచ్చితత్వం కోసం సవరించబడింది. ఇది సాధారణ సమాచారం మరియు చర్చ కోసం మాత్రమే, వృత్తిపరమైన సలహా కాదు. మా సంపాదకీయ ప్రమాణాలు మరియు నిరాకరణ చూడండి. తప్పు కనిపించిందా? మాకు తెలియజేయండి.
నచ్చిందా? తదుపరిది పొందండి.
ఒకసారి ఒక మంచి వ్యాసం, నేరుగా మీ ఇన్బాక్స్కు. స్పామ్ లేదు, ఎప్పుడైనా ఆపవచ్చు.