चित्रण: tuput
हिन्दी
2017 के इस शोधपत्र ने शब्द-दर-शब्द पढ़ना छोड़ दिया और वाक्य के हर शब्द को एक साथ हर दूसरे शब्द को देखने दिया। इसके बड़े मॉडल ने अंग्रेज़ी से जर्मन में पहले के सबसे अच्छे नतीजों को 2 से ज़्यादा BLEU से पीछे छोड़ा, और Llama 3, Gemini 1.0, DeepSeek-V3 और Sarvam 105B को उनके निर्माता ट्रांसफ़ॉर्मर ही बताते हैं।
12 जून 2017 को आठ शोधकर्ताओं ने arXiv प्रीप्रिंट सर्वर पर “Attention Is All You Need” नाम का एक शोधपत्र पोस्ट किया। उसमें ट्रांसफ़ॉर्मर का वर्णन था, एक ऐसा नेटवर्क जो, अपने सार के शब्दों में, “based solely on attention mechanisms, dispensing with recurrence and convolutions entirely” है। शोधपत्र के बड़े मॉडल ने WMT 2014 के अंग्रेज़ी से जर्मन परीक्षण में 28.4 BLEU हासिल किए, जो अनुवाद का एक मानक स्कोर है जिसमें ऊंचा बेहतर होता है। सार के अनुसार यह पहले के सबसे अच्छे नतीजों से, एनसेंबल समेत, 2 से ज़्यादा BLEU आगे था, और खंड 6.1 के अनुसार प्रशिक्षण में आठ Nvidia P100 GPU पर 3.5 दिन लगे।
लेखक थे अशिश वासवानी, नोअम शज़ीर, निकी पारमर, जैकब उशकोरेइट, लिओन जोन्स, एडन गोमेज़, लुकाश कैसर और इलिया पोलोसुखिन, जो गूगल ब्रेन, गूगल रिसर्च और टोरंटो विश्वविद्यालय के तहत दर्ज हैं। शोधपत्र में एक फ़ुटनोट है कि लेखकों का क्रम यादृच्छिक है और आठों ने बराबर योगदान दिया। इसे 2017 में कैलिफ़ोर्निया के लॉन्ग बीच में न्यूरल इन्फ़ॉर्मेशन प्रोसेसिंग सिस्टम्स सम्मेलन में, जिसे तब NIPS कहा जाता था, प्रस्तुत किया गया (कार्यवाही का पन्ना इसे खंड 30 में सूचीबद्ध करता है)। बड़ा भाषा मॉडल कैसे प्रशिक्षित होता है में बताया गया है कि आर्किटेक्चर चुने जाने के बाद क्या होता है। यह लेख आर्किटेक्चर के बारे में है।
एक बार में एक शब्द पढ़ना रुकावट क्यों था
2017 से पहले अग्रणी अनुवाद प्रणालियां रिकरेंट न्यूरल नेटवर्क इस्तेमाल करती थीं। शोधपत्र बताता है कि वे कैसे काम करते हैं: रिकरेंट नेटवर्क शब्दों को क्रम से पढ़ता है और हर स्थान पर एक चलता-फिरता सार बनाता है, जो पिछले सार और मौजूदा शब्द से निकलता है। हर कदम को पिछले कदम की ज़रूरत होती है, इसलिए शोधपत्र के अनुसार यह डिज़ाइन प्रशिक्षण के उदाहरणों के भीतर समानांतरता को “precludes” करता है, यानी रोक देता है। एक वाक्य के कदम एक साथ नहीं चलाए जा सकते थे।
जैकब उशकोरेइट की, 31 अगस्त 2017 की गूगल ब्लॉग पोस्ट एक ठोस मिसाल देती है। “I arrived at the bank after crossing the…” में “bank” का मतलब नदी का किनारा है या साहूकार, यह तय करने के लिए नेटवर्क को वाक्य का आखिरी शब्द चाहिए, “river” या “road”। पोस्ट के अनुसार रिकरेंट नेटवर्क इसे तभी तय कर सकता है जब वह “bank” और “river” के बीच का हर शब्द कदम-दर-कदम पढ़ ले, और किसी फ़ैसले के लिए जितने ज़्यादा कदम चाहिए, नेटवर्क के लिए उसे सीखना उतना ही कठिन होता है। पोस्ट आगे जोड़ती है कि GPU और TPU, यानी प्रशिक्षण में इस्तेमाल होने वाली चिप, समानांतर काम में अच्छी हैं और क्रमिक काम में कमज़ोर।
कन्वोल्यूशनल नेटवर्क, दूसरा मुख्य डिज़ाइन, कम क्रमिक हैं। शोधपत्र ध्यान दिलाता है कि ByteNet और ConvS2S नाम के मॉडलों में दो दूर के शब्दों को जोड़ने के लिए ज़रूरी कदमों की संख्या अब भी उनके बीच की दूरी के साथ बढ़ती है, ConvS2S में रैखिक रूप से और ByteNet में लघुगणकीय रूप से।
ट्रांसफ़ॉर्मर से पहले भी अटेंशन था
अटेंशन का विचार पहले आया और उसे रिकरेंट नेटवर्क में जोड़ा गया। 1 सितंबर 2014 को दिमित्री बहदानाऊ, क्युनह्युन चो और योशुआ बेंजियो ने एक शोधपत्र जमा किया, जो बाद में ICLR 2015 में मौखिक प्रस्तुति बना, और जिसने मानक डिज़ाइन की एक कमज़ोरी को उठाया। आम एनकोडर-डिकोडर पूरे स्रोत वाक्य को एक तय लंबाई के वेक्टर में निचोड़ देता था, इसके बाद डिकोडर अनुवाद शुरू करता था। लेखकों का अनुमान था कि यह रुकावट है, और उन्होंने मॉडल को स्रोत वाक्य में उन स्थानों की “soft-search” करने दी जो उसके लिखे हर शब्द के लिए मायने रखते हैं। वे अंग्रेज़ी से फ़्रेंच पर तब की सबसे अच्छी फ़्रेज़-आधारित प्रणाली के बराबर अनुवाद गुणवत्ता की रिपोर्ट करते हैं।
एक साल बाद स्टैनफ़र्ड के मिन्ह-थांग लुओंग, ह्येउ फाम और क्रिस्टोफ़र मैनिंग ने अंग्रेज़ी-जर्मन अनुवाद पर दो तरह के अटेंशन परखे। उनका सार अटेंशन रहित तुलनीय प्रणालियों पर 5.0 BLEU की बढ़त बताता है, और एक संयुक्त मॉडल ने WMT 2015 के अंग्रेज़ी से जर्मन कार्य में 25.9 BLEU हासिल किए।
ट्रांसफ़ॉर्मर शोधपत्र बताता है कि तब तक अटेंशन का इस्तेमाल आम तौर पर कैसे होता था: “in all but a few cases” वह रिकरेंट नेटवर्क के साथ बैठा होता था। आठ लेखकों का प्रस्ताव था कि अटेंशन रखा जाए और रिकरेंट हिस्सा हटा दिया जाए। शोधपत्र के योगदान वाले फ़ुटनोट में रिकरेंट नेटवर्कों की जगह सेल्फ़-अटेंशन लाने का प्रस्ताव रखने का श्रेय उशकोरेइट को दिया गया है।
एक शब्द बाकी वाक्य को कैसे देखता है
सेल्फ़-अटेंशन वह अटेंशन है जो एक ही वाक्य के भीतर लगाया जाता है। गूगल की ब्लॉग पोस्ट इसे उसी “bank” वाले उदाहरण से समझाती है। “bank” का बेहतर निरूपण निकालने के लिए ट्रांसफ़ॉर्मर उस शब्द की तुलना वाक्य के हर दूसरे शब्द से करता है। हर तुलना एक अटेंशन स्कोर देती है। स्कोर तय करते हैं कि हर दूसरा शब्द कितना योगदान दे, इसलिए “river” को ऊंचा स्कोर मिल सकता है। फिर मॉडल सभी शब्दों के निरूपणों का भारित औसत लेता है और उसे एक छोटे फ़ीड-फ़ॉरवर्ड नेटवर्क से गुज़ारकर नया निरूपण बनाता है। पोस्ट के अनुसार, क्योंकि हर शब्द हर दूसरे शब्द को सीधे देख सकता है, मॉडल “river” पर ध्यान दे सकता है और फ़ैसला एक ही कदम में कर सकता है।
शोधपत्र तुलना के हिस्सों को नाम देता है। अटेंशन फ़ंक्शन एक क्वेरी और की-वैल्यू जोड़ों के एक समूह को एक आउटपुट से जोड़ता है, और आउटपुट वैल्यू का भारित योग होता है। हर वैल्यू का भार क्वेरी की तुलना उस वैल्यू की की से करने पर आता है। इसे पढ़ने का एक तरीका यह है कि हर शब्द एक सवाल पूछता है (क्वेरी), वाक्य का हर शब्द एक लेबल (की) और कुछ सामग्री (वैल्यू) पेश करता है, और सबसे मेल खाने वाले लेबल सबसे ज़्यादा सामग्री का योगदान देते हैं। शोधपत्र का रूप क्वेरी को कीज़ से गुणा करता है, की के आकार के वर्गमूल से भाग देता है, और नतीजों को ऐसे भारों में बदलता है जिनका योग एक हो।
यह भाग क्यों है, इसकी वजह लेखक एक आशंका के रूप में बताते हैं: बड़ी कीज़ के साथ गुणनफल बड़े हो जाते हैं, जो भार तय करने वाले फ़ंक्शन को ऐसे क्षेत्र में धकेल देता है जहां सीखना बहुत धीमा हो जाता है। डिकोडर, जो अनुवाद एक बार में एक शब्द लिखता है, बाद के स्थानों को खुद से छिपा भी लेता है ताकि कोई भविष्यवाणी सिर्फ़ उन शब्दों पर निर्भर हो सके जो पहले से पता हैं।
गूगल की पोस्ट एक दूसरा उदाहरण देती है, वाक्यों का एक जोड़ा जिसमें “it” एक में जानवर को और दूसरे में सड़क को दर्शाता है। फ़्रेंच में अनुवाद संज्ञा के लिंग पर निर्भर करता है, और पोस्ट कहती है कि “animal” और “street” वहां लिंग में अलग हैं। गूगल के बयान में ट्रांसफ़ॉर्मर ने दोनों वाक्यों का सही अनुवाद किया, जहां तब इस्तेमाल हो रहा गूगल ट्रांसलेट मॉडल नहीं कर पाया, और एक अटेंशन हेड के चार्ट में दिखा कि हर संज्ञा पर दिया गया ध्यान संदर्भ के साथ बदलता है। यह एक वाक्य-जोड़ी पर गूगल का अपना प्रदर्शन है, कोई स्वतंत्र परीक्षण नहीं।
आठ हेड, और शब्द-क्रम की एक तरकीब
सभी शब्दों का औसत लेकर एक मिश्रण बनाने से ब्योरा खो जाता है, इसलिए शोधपत्र कई अटेंशन क्रियाएं साथ-साथ चलाता है, जिसे वह मल्टी-हेड अटेंशन कहता है। बेस मॉडल आठ हेड इस्तेमाल करता है। हर हेड 512 संख्याओं वाले निरूपण के 64 संख्याओं के एक टुकड़े पर काम करता है, और नतीजे अंत में जोड़ दिए जाते हैं, इसलिए कुल लागत पूरी चौड़ाई पर काम करने वाले एक हेड के करीब रहती है।
शोधपत्र की तालिका 3 इस चुनाव को एक डेवलपमेंट सेट पर परखती है (2014 वाले की जगह 2013 का समाचार परीक्षण सेट)। एक अकेला हेड सबसे अच्छी सेटिंग से 0.9 BLEU नीचे रहा, और हेड बहुत ज़्यादा होने पर भी गुणवत्ता गिरी। लेखक सेल्फ़-अटेंशन की चर्चा में जोड़ते हैं कि अलग-अलग हेड अलग-अलग काम सीखते दिखते हैं और कई वाक्यों के व्याकरण और अर्थ से जुड़े लगते हैं। यह अटेंशन चार्ट देखकर किया गया अवलोकन है, कोई प्रमाण नहीं।
रिकरेंस रहित नेटवर्क को शब्द-क्रम का कोई बोध नहीं होता, क्योंकि सभी शब्दों को एक साथ देखा जाता है। लेखकों ने इसे हर शब्द के निरूपण में स्थान की जानकारी जोड़कर सुलझाया, अलग-अलग तरंगदैर्घ्य की साइन और कोसाइन तरंगों से। उन्होंने स्थानों को सीखकर तय करना भी आज़माया, और दोनों रूपों ने लगभग एक जैसे नतीजे दिए: डेवलपमेंट सेट पर बेस मॉडल के लिए 25.7 BLEU बनाम 25.8। उन्होंने साइन वाला रूप इसलिए रखा कि वह प्रशिक्षण में देखे गए किसी भी वाक्य से लंबे वाक्यों को शायद बेहतर संभाल सके।
यह 2017 के डिज़ाइन का वह एक हिस्सा है जिसे बाद के मॉडलों ने बदल दिया। सर्वम की मार्च 2026 की ब्लॉग पोस्ट अपने मॉडलों की खूबियों में रोटरी पोज़िशनल एम्बेडिंग गिनाती है, और मेटा का Llama 3 शोधपत्र कहता है कि कंपनी ने लंबे संदर्भ के लिए अपनी रोटरी एम्बेडिंग की बेस फ़्रीक्वेंसी बढ़ाकर 500,000 कर दी।
यह तेज़ क्यों प्रशिक्षित हुआ
शोधपत्र की तालिका 1 परत के प्रकारों की तुलना करती है। सेल्फ़-अटेंशन परत किन्हीं भी दो स्थानों को क्रमिक क्रियाओं की एक स्थिर संख्या में जोड़ती है, जबकि रिकरेंट परत को ऐसी संख्या चाहिए जो वाक्य की लंबाई के साथ बढ़ती है। शोधपत्र का बेस मॉडल आठ Nvidia P100 GPU वाली एक मशीन पर 100,000 कदम, यानी करीब 12 घंटे, प्रशिक्षित हुआ। बड़े मॉडल को 300,000 कदम, यानी 3.5 दिन, लगे। गूगल का ब्लॉग कहता है कि प्रशिक्षण एक परिमाण के क्रम तक तेज़ हुआ, जो गूगल के अपने प्रयोगों से उसका अपना दावा है।
बाद के पैमानों से मॉडल छोटा था। तालिका 3 बेस मॉडल के लिए 6.5 करोड़ पैरामीटर, यानी नेटवर्क के भीतर के समायोज्य अंक, और बड़े के लिए 21.3 करोड़ बताती है। सात साल बाद वर्णित मेटा के Llama 3 के फ़्लैगशिप में 405 अरब हैं, करीब 1,900 गुना।
सेल्फ़-अटेंशन की अपनी एक कीमत है। हर शब्द की हर दूसरे शब्द से तुलना का मतलब है कि हर परत का काम वाक्य की लंबाई के वर्ग के साथ बढ़ता है, और शोधपत्र कहता है कि सेल्फ़-अटेंशन रिकरेंट परत से तभी सस्ता है जब वाक्य निरूपण की चौड़ाई से छोटा हो। लेखकों ने बहुत लंबे इनपुट के लिए अटेंशन को पास के शब्दों के पड़ोस तक सीमित रखने का सुझाव दिया, भविष्य के काम के रूप में। मेटा का शोधपत्र लंबे पाठों पर देर से प्रशिक्षण का यही कारण देता है: सेल्फ़-अटेंशन की गणना अनुक्रम की लंबाई के साथ द्विघात रूप से बढ़ती है, इसलिए Llama 3 अपने 128,000-टोकन के संदर्भ तक प्रीट्रेनिंग के आखिरी चरणों में पहुंचा।
संख्याएं, और वह जो अलग है
शोधपत्र के मुख्य नतीजे WMT 2014 अनुवाद कार्य के newstest2014 सेटों पर हैं। अंग्रेज़ी से जर्मन के लिए तालिका 2 में बड़ा मॉडल 28.4 BLEU पर है, जबकि पहले की सबसे अच्छी प्रविष्टि, ConvS2S मॉडलों का एक एनसेंबल, 26.36 पर थी। अंग्रेज़ी से फ़्रेंच के लिए सार और तालिका 2 एक अकेले मॉडल के लिए 41.8 BLEU देते हैं, जबकि उसी शोधपत्र के खंड 6.1 का एक वाक्य 41.0 कहता है। तालिका और सार आपस में मेल खाते हैं और पाठ अलग है, इसलिए आंकड़ा यहां वैसे ही दिया गया है जैसा सार में है, और अंतर दर्ज कर दिया गया है।
लेखकों ने मॉडल को एक अलग कार्य पर भी आज़माया, अंग्रेज़ी कॉन्स्टिट्यूएंसी पार्सिंग, जो वाक्य की व्याकरणिक बनावट पर लेबल लगाती है। चार परतों वाले ट्रांसफ़ॉर्मर ने सिर्फ़ वॉल स्ट्रीट जर्नल के डेटा पर प्रशिक्षित होकर 91.3 F1 और अतिरिक्त अर्ध-पर्यवेक्षित डेटा के साथ 92.7 हासिल किए। शोधपत्र कहता है कि यह एक को छोड़कर पहले के सभी रिपोर्ट किए गए मॉडलों से बेहतर रहा, वह एक था रिकरेंट न्यूरल नेटवर्क ग्रामर। गूगल की पोस्ट कहती है कि वही नेटवर्क, थोड़े अनुकूलन के साथ, एक को छोड़कर पहले के सभी तरीकों से आगे रहा।
नतीजे लेखकों के अपने हैं, प्रकाशित आंकड़ों से तुलना करके मापे गए। शोधपत्र का कोड tensor2tensor लाइब्रेरी में जारी किया गया, और हार्वर्ड NLP का एनोटेटेड ट्रांसफ़ॉर्मर मॉडल को पंक्ति-दर-पंक्ति एक चलने लायक नोटबुक के रूप में दोबारा बनाता है।
Llama, Gemini, DeepSeek और सर्वम में क्या रहा और क्या बदला
शोधपत्र के निष्कर्ष में कहा गया है कि लेखकों की योजना ट्रांसफ़ॉर्मर को पाठ से आगे, छवियों, ऑडियो और वीडियो तक ले जाने की थी। गूगल की 2017 की पोस्ट ने कहा कि वह काम शुरू हो चुका है। अक्टूबर 2018 तक गूगल के BERT शोधपत्र ने अपने मॉडल को बहु-परत द्विदिशीय ट्रांसफ़ॉर्मर एनकोडर कहा, और OpenAI के GPT को बाएं से दाएं चलने वाला ट्रांसफ़ॉर्मर बताया, जिसमें हर टोकन सिर्फ़ पहले के टोकनों पर ध्यान देता है। Hugging Face का कोर्स बाद के मॉडलों को GPT-जैसे, BERT-जैसे और अनुक्रम-से-अनुक्रम परिवारों में बांटता है।
आज के बड़े मॉडलों के निर्माता अपने काम का वर्णन इन्हीं शब्दों में करते हैं। मेटा का शोधपत्र कहता है कि Llama 3 “uses a standard, dense Transformer architecture” और उसके सुधार मुख्य रूप से डेटा की गुणवत्ता, विविधता और पैमाने से आते हैं। मेटा ने प्रशिक्षण की स्थिरता के लिए मिक्सचर ऑफ़ एक्सपर्ट्स की जगह डेंस मॉडल चुना। उसके छोटे बदलावों में 8 की-वैल्यू हेड वाला ग्रुप्ड क्वेरी अटेंशन है, ताकि लिखते समय मॉडल जो मेमोरी रखता है वह घटे। गूगल की Gemini रिपोर्ट कहती है कि Gemini मॉडल “build on top of Transformer decoders” हैं, जिनमें स्थिर प्रशिक्षण और गूगल की TPU चिप के लिए सुधार हैं, और वह उनमें मल्टी-क्वेरी अटेंशन का नाम लेती है।
DeepSeek की V3 रिपोर्ट कहती है कि उसका बुनियादी आर्किटेक्चर ट्रांसफ़ॉर्मर के ढांचे के भीतर ही है, जिसमें मल्टी-हेड लेटेंट अटेंशन है, जिसे सर्वम अटेंशन का संपीड़ित रूप बताता है जो मेमोरी का उपयोग घटाता है, और मिक्सचर-ऑफ़-एक्सपर्ट्स वाली फ़ीड-फ़ॉरवर्ड परत है। मॉडल में कुल 671 अरब पैरामीटर हैं, जिनमें से हर टोकन के लिए 37 अरब इस्तेमाल होते हैं। सर्वम AI अपने 30 अरब और 105 अरब पैरामीटर वाले मॉडलों को 128 एक्सपर्ट वाला मिक्सचर-ऑफ़-एक्सपर्ट्स ट्रांसफ़ॉर्मर बैकबोन बताता है। 30B ग्रुप्ड क्वेरी अटेंशन इस्तेमाल करता है और 105B मल्टी-हेड लेटेंट अटेंशन। सर्वम कहता है कि दोनों भारत में IndiaAI मिशन के तहत दिए गए कंप्यूट पर प्रशिक्षित हुए और Apache 2.0 लाइसेंस के तहत जारी किए गए, जैसा IndiaAI मिशन वाले लेख और भारत के अपनी भाषाओं में AI बनाने वाले लेख में बताया गया है। अनुवाद, जिस काम के लिए ट्रांसफ़ॉर्मर बना था, भाषिणी और AI4Bharat वाले लेख का भी विषय है, जो भारत की 22 अनुसूचित भाषाओं के लिए खुले अनुवाद मॉडलों को कवर करता है।
इन सभी में 2017 की सेल्फ़-अटेंशन परत अब भी केंद्र में है, और बदलाव इसमें हैं कि कीज़ और वैल्यूज़ कैसे रखी जाती हैं, स्थान कैसे एनकोड होते हैं और अकेली फ़ीड-फ़ॉरवर्ड परत की जगह क्या आता है। 2017 के बड़े मॉडल में 6 परतें और 16 हेड थे, जबकि मेटा का शोधपत्र Llama 3 405B को 126 परतें और 128 अटेंशन हेड देता है।
स्रोत और आगे पढ़ने के लिए
- Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (submitted 12 June 2017, abstract page)
- Vaswani et al.: Attention Is All You Need, full paper as presented at NIPS 2017 (PDF)
- NeurIPS Proceedings: Attention is All you Need (Advances in Neural Information Processing Systems 30, 2017)
- Google Research blog, Jakob Uszkoreit: Transformer, A Novel Neural Network Architecture for Language Understanding (31 August 2017)
- Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473 (submitted 1 September 2014, ICLR 2015)
- Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate (full paper, PDF)
- Luong, Pham and Manning, Stanford: Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 (2015)
- Devlin et al., Google AI Language: BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805
- Gemini Team, Google: Gemini, A Family of Highly Capable Multimodal Models, arXiv:2312.11805
- Llama Team, AI @ Meta: The Llama 3 Herd of Models, arXiv:2407.21783 (23 July 2024)
- DeepSeek-AI: DeepSeek-V3 Technical Report, arXiv:2412.19437
- Sarvam AI: Open-Sourcing Sarvam 30B and 105B (6 March 2026)
- Harvard NLP and collaborators: The Annotated Transformer (line-by-line implementation of the paper)
- Hugging Face LLM Course: How do Transformers work?
यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।
अच्छा लगा? अगला लेख पाएँ।
एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।