चित्रण: tuput
मराठी
रिट्रीव्हल-ऑगमेंटेड जनरेशन, म्हणजे RAG, मध्ये भाषा मॉडेल दस्तऐवजांच्या संग्रहातून उतारे शोधते आणि त्यांच्या आधारे उत्तर लिहिते. त्याला नाव देणाऱ्या २०२० च्या शोधनिबंधाने तीन खुल्या-क्षेत्र प्रश्नोत्तर कामांत अत्याधुनिक निकाल नोंदवला, आणि त्याच्या लेखकांनी दाखवले की दस्तऐवज बदलले की मॉडेलची उत्तरे बदलतात, पुन्हा प्रशिक्षण न देता.
भाषा मॉडेल प्रशिक्षणात जे शिकते ते स्वतःच्या संख्यांमध्ये ठेवते, आणि त्या संख्या अद्ययावत करायच्या म्हणजे पुन्हा प्रशिक्षण द्यावे लागते. २२ मे २०२० रोजी arXiv वर सादर केलेल्या आणि NeurIPS 2020 मध्ये स्वीकारलेल्या शोधनिबंधात पॅट्रिक लुईस, एथन पेरेझ, अलेक्झांड्रा पिक्टस, फॅबिओ पेट्रोनी आणि आठ सहलेखकांनी वेगळ्या रचनेचे वर्णन केले. त्यांचे मॉडेल, ज्याला रिट्रीव्हल-ऑगमेंटेड जनरेशन किंवा RAG म्हणतात, आधी दस्तऐवजांच्या संग्रहात शोध घेते आणि मग सर्वोत्तम उतारे समोर ठेवून उत्तर लिहिते. त्याने तीन खुल्या-क्षेत्र प्रश्नोत्तर कामांत अत्याधुनिक निकाल नोंदवला, आणि संग्रह बदलून मॉडेलला काय माहीत आहे ते बदलण्याची मुभा लेखकांना दिली.
चार पायऱ्या, साध्या शब्दांत
२०२० च्या शोधनिबंधात आणि त्यानंतर बनलेल्या प्रणालींमध्ये पाइपलाइनचा आकार तोच आहे. Anthropic ची २०२४ ची अभियांत्रिकी पोस्ट तयारीच्या पायऱ्या सांगते: दस्तऐवज मजकुराच्या तुकड्यांत कापायचे, साधारणपणे काही शे टोकनपेक्षा जास्त नाही (टोकन म्हणजे शब्दाचा छोटा भाग); प्रत्येक तुकड्याला व्हेक्टरमध्ये, म्हणजे अर्थ सांकेतिक करणाऱ्या संख्यांच्या यादीत, बदलण्यासाठी एम्बेडिंग मॉडेल वापरायचे; आणि ते व्हेक्टर समानतेवरून शोधता येणाऱ्या डेटाबेसमध्ये साठवायचे.
प्रश्न विचारला जातो तेव्हा प्रणाली प्रश्नालाही त्याच पद्धतीने व्हेक्टरमध्ये बदलते, ज्यांचे व्हेक्टर त्याच्या सर्वात जवळ असतात ते तुकडे आणते, आणि ते मजकूर-निर्मात्याला पाठवल्या जाणाऱ्या प्रॉम्प्टमध्ये जोडते. गाओ आणि नऊ सहलेखक, या क्षेत्राच्या २०२३ च्या सर्वेक्षणात, या तीन-टप्प्यांच्या आवृत्तीला “नेव्ह RAG” म्हणतात: इंडेक्सिंग, रिट्रीव्हल, जनरेशन.
मूळ शोधनिबंधातील संख्या ठळक आहेत. लुईस आणि सहकाऱ्यांनी डिसेंबर २०१८ चा इंग्रजी विकिपीडिया डंप घेतला आणि प्रत्येक लेख १००-शब्दांच्या स्वतंत्र तुकड्यांत विभागला, ज्यातून २ कोटी १० लाख दस्तऐवज मिळाले. त्यांनी वेगवान अंदाजे पद्धतीने निर्देशिकेत शोध घेतला, प्रशिक्षणात प्रत्येक प्रश्नासाठी ५ किंवा १० उतारे आणले, आणि ते प्रश्नासह BART-large ला, ४० कोटी पॅरामीटरच्या मजकूर-निर्मात्याला, दिले.
आधी आलेला रिट्रीव्हर
शोधाचा भाग १० एप्रिल २०२० रोजी सादर केलेल्या, लुईस यांच्या शोधनिबंधाच्या सहा आठवडे आधीच्या, शोधनिबंधातून आला. व्लादिमीर कार्पुखिन आणि सात सहलेखकांनी, ज्यात लुईसही होते, डेन्स पॅसेज रिट्रीव्हल बनवले, जे प्रश्नांना उताऱ्यांशी समान शब्दांवरून नव्हे तर अर्थावरून जुळवते. त्यांचा शोधनिबंध कळवतो की त्याने BM25 या दीर्घकाळ चालत आलेल्या शब्द-जुळवणी पद्धतीच्या मजबूत प्रणालीला पहिल्या २० उताऱ्यांवर ९ ते १९ गुणांच्या निरपेक्ष अचूकतेने मागे टाकले. नॅचरल क्वेश्चन्स डेटासेटवर आकडे ७८.४ टक्के विरुद्ध ५९.१ टक्के होते.
मेटा AI च्या २८ सप्टेंबर २०२० च्या ब्लॉग पोस्टमध्ये, जी सेबॅस्टियन रीडेल, डूवे कीला, पॅट्रिक लुईस आणि अलेक्झांड्रा पिक्टस यांनी लिहिली, RAG चे वर्णन फेसबुक AI च्या डेन्स पॅसेज रिट्रीव्हरला BART ची जोड असे केले आहे. आधीचा दृष्टिकोन REALM, केलविन गुउ आणि चार सहलेखकांचा १० फेब्रुवारी २०२० चा, भाषा मॉडेलच्या पूर्व-प्रशिक्षणादरम्यान रिट्रीव्हरला प्रशिक्षित करत असे. लुईस यांचा शोधनिबंध म्हणतो की RAG ला त्या महागड्या विशेष पूर्व-प्रशिक्षणाशिवाय मजबूत निकाल मिळतात, आणि अत्याधुनिक कामगिरीसाठी वेगळ्या री-रँकरची गरज नाही.
अदलाबदलीची चाचणी
मेटाची पोस्ट व्यावहारिक फायदा एका वाक्यात मांडते: RAG सह, “आपण केवळ दस्तऐवज बदलून त्याला काय माहीत आहे ते नियंत्रित करतो”. शोधनिबंध त्यामागील प्रयोग देतो, ज्याला तो इंडेक्स हॉट-स्वॅपिंग म्हणतो.
लेखकांनी डिसेंबर २०१६ च्या विकिपीडिया डंपवरून दुसरी निर्देशिका बनवली आणि त्या दोन तारखांदरम्यान बदललेल्या ८२ जागतिक नेत्यांची यादी तयार केली. त्यांनी प्रत्येक निर्देशिकेकडून “पेरूचे अध्यक्ष कोण आहेत?” आणि तत्सम प्रश्न विचारले. २०१६ च्या नेत्यांसाठी २०१६ ची निर्देशिका वापरून ते ७० टक्के बरोबर उत्तरले, आणि २०१८ च्या नेत्यांसाठी २०१८ ची निर्देशिका वापरून ६८ टक्के. चुकीच्या वर्षाच्या निर्देशिकेसह अचूकता १२ टक्के आणि ४ टक्क्यांवर घसरली. शोधनिबंधाचा अर्थ असा की मॉडेलचे जगाविषयीचे ज्ञान त्याची नॉन-पॅरामेट्रिक मेमरी, म्हणजे दस्तऐवज साठ्याला तो देत असलेला शब्द, बदलून अद्ययावत करता येते.
याच शोधनिबंधात नोंद आहे की मेमरी कच्चा मजकूर आहे, म्हणून ती माणसाला वाचता येते आणि माणसाला लिहिता येते. जेपर्डी-शैलीतील प्रश्नलेखनावरील मानवी तुलनेत, ४५२ जोडीदार निकालांपैकी ४२.७ टक्क्यांत परीक्षकांना RAG BART या आधाररेषेपेक्षा अधिक तथ्यपूर्ण वाटले, आणि ७.१ टक्क्यांत BART अधिक तथ्यपूर्ण वाटले.
मेटाची पोस्ट सांगते की मॉडेल हगिंग फेसच्या ट्रान्सफॉर्मर्स लायब्ररीचा भाग म्हणून प्रसिद्ध केले गेले. हगिंग फेसचे दस्तऐवज पान त्या लायब्ररीतील मॉडेलच्या योगदानाची तारीख १६ नोव्हेंबर २०२० अशी देते आणि कल्पना त्याच शब्दांत वर्णन करते: संबंधित उतारे आणा, मग उत्तर त्यांवर आधारित करा, म्हणजे इंडेक्स बदलून ज्ञान अद्ययावत होते.
जिथे तुकडे संदर्भ गमावतात
कमकुवत जागा म्हणजे कापणे. Anthropic ची पोस्ट एक उदाहरण देते: “कंपनीचा महसूल मागील तिमाहीच्या तुलनेत ३% ने वाढला” असे वाचणारा तुकडा कोणती कंपनी किंवा कोणती तिमाही ते सांगत नाही, म्हणून एखाद्या विशिष्ट कंपनीच्या निकालांचा शोध तो चुकवू शकतो. Anthropic चा उपाय, कंटेक्स्चुअल रिट्रीव्हल, प्रत्येक तुकड्यासाठी मॉडेलकडून एक छोटी टीप लिहून घेतो, साधारणपणे ५० ते १०० टोकन, जी तो दस्तऐवजात कुठून आला ते सांगते, आणि ती टीप इंडेक्सिंगपूर्वी तुकड्याच्या आधी ठेवतो.
Anthropic आपले निकाल असे कळवते: पहिल्या २० रिट्रीव्ह केलेल्यांत न दिसलेल्या संबंधित उताऱ्यांचा वाटा, कोडबेस, कादंबरी, arXiv शोधनिबंध आणि विज्ञान शोधनिबंध यांवर सरासरी काढलेला:
- सामान्य एम्बेडिंग: ५.७ टक्के चुकले.
- कंटेक्स्चुअल एम्बेडिंगसह: ३.७ टक्के.
- कंटेक्स्चुअल एम्बेडिंग आणि कंटेक्स्चुअल BM25 सह: २.९ टक्के.
- रीरँकिंग पायरी जोडून: १.९ टक्के.
हे आकडे Anthropic च्या स्वतःच्या डेटासेटवरील स्वतःच्या चाचण्या आहेत, Gemini च्या Text 004 एम्बेडिंग आणि Cohere रीरँकरसह केलेल्या, आणि पोस्ट स्वतंत्र पुनरावृत्तीचे वर्णन करत नाही. त्याच पोस्टमध्ये संपूर्ण दृष्टिकोनाची एक मर्यादाही जोडली आहे: ज्ञानसंग्रह सुमारे २,००,००० टोकनपेक्षा, साधारण ५०० पानांपेक्षा, लहान असेल तर तो रिट्रीव्हलशिवाय थेट प्रॉम्प्टमध्ये घालता येतो.
रिट्रीव्हल काय काढून टाकत नाही
रिट्रीव्हल मनगढंत उत्तरांचे प्रमाण कमी करते, पण ते शून्यावर आणत नाही. शुस्टर आणि चार सहलेखकांनी २०२१ मध्ये कळवले की चॅटबॉटमधील रिट्रीव्हलने मानवी मूल्यमापकांच्या मते हॅल्युसिनेशन लक्षणीयरीत्या कमी केले. गाओ सर्वेक्षण उरलेला दोष नमूद करते: मॉडेल अजूनही रिट्रीव्ह केलेल्या मजकुराचा आधार नसलेला मजकूर लिहू शकते, आणि रिट्रीव्हल पायरी स्वतः जुळत नसलेले तुकडे निवडू शकते.
उत्पादनाच्या दाव्याची सर्वात स्पष्ट चाचणी कायद्यात आहे. मागेश आणि पाच सहलेखकांनी RAG वापरणाऱ्या व्यावसायिक कायदेशीर संशोधन साधनांचे मूल्यमापन केले आणि प्रत्येकाने १७ ते ३३ टक्के वेळा हॅल्युसिनेशन केल्याचे आढळले, सामान्य-उद्देश चॅटबॉट म्हणून GPT-4 पेक्षा कमी वेळा, आणि शून्यापेक्षा बरेच जास्त, विक्रेत्यांच्या “हॅल्युसिनेशन-मुक्त” कायदेशीर संदर्भांच्या दाव्यांविरुद्ध. AI हॅल्युसिनेशनवरील tuput चे स्पष्टीकरण त्या अभ्यासाबद्दल आणि त्यानंतरच्या न्यायालयीन आदेशांबद्दल सांगते, आणि मोठे भाषा मॉडेल कसे प्रशिक्षित केले जाते याबद्दलचे संख्यांमध्ये साठवलेले ज्ञान समजावते, ज्याला RAG पूरक ठरते.
लुईस यांचा स्वतःचा सारांश प्रोव्हिनन्स, म्हणजे उत्तर कुठून आले हे दाखवण्याची क्षमता, ही खुली संशोधन समस्या म्हणून नमूद करतो. २०२३ चे सर्वेक्षण अधिक आशावादी आहे: ते म्हणते की रिट्रीव्हल-आधारित निर्मिती मूळ संदर्भ झटकन शोधू शकते, ज्यामुळे वापरकर्ते उत्तराची पडताळणी करू शकतात. एखादे उत्पादन ते संदर्भ दाखवते की नाही ते ते कसे बनवले आहे त्यावर अवलंबून आहे.
एक भारतीय उदाहरण, काय माहीत आहे त्याच्या मर्यादांसह
भारताच्या कृषी आणि शेतकरी कल्याण मंत्रालयाने १७ फेब्रुवारी २०२६ रोजी Bharat-VISTAAR चा पहिला टप्पा सुरू केला. त्याचे १६ फेब्रुवारीचे निवेदन म्हणते की व्यासपीठ सरकारी आणि वैज्ञानिक स्रोतांना जोडून शेतकऱ्यांपर्यंत माहिती पोहोचवते, ज्यात भारतीय हवामान विभागाकडून हवामान, AgMarkNet कडून मंडी भाव, राष्ट्रीय कीड सर्वेक्षण प्रणालीकडून कीड आणि रोग सल्ला, AgriStack डेटा आणि १० केंद्रीय योजना आहेत. शेतकरी हिंदी किंवा इंग्रजीत १५५२६१ वर फोन करू शकतो, आणि निवेदन व्यासपीठाला “पडताळलेल्या आणि सुरक्षित माहितीवर आधारित” म्हणते.
ते निवेदन किंवा १३ मार्च २०२६ रोजी राज्यसभेतील मंत्रालयाचे उत्तर यांपैकी कोणतेही आतील सॉफ्टवेअरचे वर्णन करत नाही किंवा प्रणाली रिट्रीव्हल-ऑगमेंटेड जनरेशन वापरते असे म्हणत नाही, म्हणून हा लेख तसा दावा करत नाही. पाने जे वर्णन करतात ती तीच रचना आहे जिला आधार देण्यासाठी RAG अस्तित्वात आहे: मॉडेलच्या स्मृतीतून नव्हे तर नाव घेतलेल्या अधिकृत नोंदींमधून येण्यासाठी असलेली उत्तरे. tuput चा आणखी एक लेख Bharat-VISTAAR ला इतर नोंदवलेल्या शेती उपयोजनांशेजारी ठेवतो.
१३ मार्चचे उत्तर जोडते की भारतीय कृषी संशोधन परिषदेच्या पीक पद्धती व्यासपीठाचा भाग आहेत, आणि प्रारंभानंतर तीन महिन्यांत आणखी चार भाषा आणि सहा महिन्यांत आणखी पाच भाषा नियोजित आहेत.
स्रोत आणि पुढील वाचन
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401, submitted 22 May 2020)
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, full paper (PDF)
- NeurIPS 2020 Proceedings: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Meta AI blog: Retrieval Augmented Generation, streamlining the creation of intelligent natural language processing models (28 September 2020)
- Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering (arXiv:2004.04906)
- Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering, full paper (PDF)
- Guu et al.: REALM, Retrieval-Augmented Language Model Pre-Training (arXiv:2002.08909, 10 February 2020)
- Hugging Face Transformers documentation: RAG
- Anthropic: Introducing Contextual Retrieval (19 September 2024)
- Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey (arXiv:2312.10997)
- Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey, full paper (PDF)
- Magesh et al.: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv:2405.20362)
- Shuster et al.: Retrieval Augmentation Reduces Hallucination in Conversation (arXiv:2104.07567)
- PIB, Ministry of Agriculture and Farmers Welfare: Bharat-VISTAAR to be launched on 17 February (16 February 2026)
- PIB, Ministry of Agriculture and Farmers Welfare: Rollout of BHARAT-VISTAAR Platform, Rajya Sabha reply (13 March 2026)
हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.
आवडलं? पुढचा लेख मिळवा.
एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.