చిత్రణ: tuput
తెలుగు
రిట్రీవల్-ఆగ్మెంటెడ్ జనరేషన్, అంటే RAG, లాంగ్వేజ్ మోడల్ ఒక డాక్యుమెంట్ సేకరణలో భాగాలను వెతికి, వాటి నుంచి తన సమాధానం రాసేలా చేస్తుంది. దానికి పేరు పెట్టిన 2020 పేపర్ మూడు ఓపెన్-డొమైన్ ప్రశ్న పనుల్లో అత్యుత్తమ స్థాయిని నెలకొల్పింది, డాక్యుమెంట్లను మార్చితే మోడల్ సమాధానాలు మారుతాయని, మళ్లీ శిక్షణ అవసరం లేదని దాని రచయితలు చూపించారు.
లాంగ్వేజ్ మోడల్ శిక్షణలో నేర్చుకున్నదాన్ని తన సొంత సంఖ్యల్లో ఉంచుకుంటుంది, ఆ సంఖ్యలను నవీకరించాలంటే దానికి మళ్లీ శిక్షణ ఇవ్వాలి. 2020 మే 22న arXiv కు సమర్పించి, NeurIPS 2020 లో అంగీకరించిన ఒక పేపర్లో ప్యాట్రిక్ లూయిస్, ఏతాన్ పెరెజ్, అలెగ్జాండ్రా పిక్టస్, ఫాబియో పెట్రోని, మరో ఎనిమిది మంది సహ రచయితలు వేరే ఏర్పాటును వివరించారు. రిట్రీవల్-ఆగ్మెంటెడ్ జనరేషన్ లేదా RAG అని పిలిచే వారి మోడల్, ముందుగా డాక్యుమెంట్ల సేకరణను వెతుకుతుంది, తర్వాత ఉత్తమ భాగాలను ముందు ఉంచుకుని తన సమాధానం రాస్తుంది. ఇది మూడు ఓపెన్-డొమైన్ ప్రశ్న-సమాధాన పనుల్లో అత్యుత్తమ స్థాయిని నెలకొల్పింది, సేకరణను మార్చడం ద్వారా మోడల్ ఏమి తెలుసుకోవాలో మార్చే వీలు రచయితలకు ఇచ్చింది.
నాలుగు దశలు, సరళమైన మాటల్లో
2020 పేపర్లో, ఆ తర్వాత నిర్మించిన సిస్టమ్లలో పైప్లైన్ ఒకే రూపంలో ఉంటుంది. Anthropic యొక్క 2024 ఇంజినీరింగ్ పోస్ట్ సన్నాహక దశలను జాబితా చేస్తుంది: డాక్యుమెంట్లను టెక్స్ట్ ముక్కలుగా కోయడం, సాధారణంగా కొన్ని వందల టోకెన్లకు మించకుండా (టోకెన్ అంటే పదంలోని చిన్న ముక్క); ఒక ఎంబెడ్డింగ్ మోడల్తో ప్రతి ముక్కను వెక్టర్గా, అంటే అర్థాన్ని ఎన్కోడ్ చేసే సంఖ్యల జాబితాగా, మార్చడం; ఆ వెక్టర్లను సారూప్యత ఆధారంగా వెతకగల డేటాబేస్లో నిల్వ చేయడం.
ప్రశ్న అడిగే సమయంలో సిస్టమ్ ప్రశ్నను అదే విధంగా వెక్టర్గా మారుస్తుంది, దానికి అత్యంత దగ్గరగా ఉన్న వెక్టర్లు గల ముక్కలను తెస్తుంది, వాటిని టెక్స్ట్ జనరేటర్కు పంపే ప్రాంప్ట్లో చేరుస్తుంది. ఈ మూడు దశల వెర్షన్ను, ఇండెక్సింగ్, రిట్రీవల్, జనరేషన్ను, రంగంపై 2023 సర్వేలో గావో, తొమ్మిది మంది సహ రచయితలు “naive RAG” అని పిలుస్తారు.
అసలు పేపర్లోని సంఖ్యలు నిర్దిష్టమైనవి. లూయిస్, ఆయన సహచరులు 2018 డిసెంబర్ ఇంగ్లిష్ Wikipedia డంప్ తీసుకుని, ప్రతి వ్యాసాన్ని వేర్వేరు 100 పదాల ముక్కలుగా విభజించారు, దాంతో 2.1 కోట్ల డాక్యుమెంట్లు వచ్చాయి. వారు వేగవంతమైన సుమారు పద్ధతితో ఇండెక్స్ను వెతికారు, శిక్షణలో ప్రతి ప్రశ్నకు 5 లేదా 10 భాగాలను తెచ్చారు, వాటిని ప్రశ్నతో పాటు 40 కోట్ల పారామీటర్ల టెక్స్ట్ జనరేటర్ BART-large కు ఇచ్చారు.
ముందు వచ్చిన రిట్రీవర్
వెతికే భాగం లూయిస్ పేపర్కు ఆరు వారాల ముందు, 2020 ఏప్రిల్ 10న సమర్పించిన పేపర్ నుంచి వచ్చింది. వ్లాదిమిర్ కార్పుఖిన్, లూయిస్తో సహా ఏడుగురు సహ రచయితలు డెన్స్ పాసేజ్ రిట్రీవల్ను నిర్మించారు, అది ప్రశ్నలను భాగాలతో ఉమ్మడి పదాల ద్వారా కాక అర్థం ద్వారా సరిపోలుస్తుంది. పదాలను సరిపోల్చే దీర్ఘకాల పద్ధతి అయిన బలమైన BM25 సిస్టమ్ను, అగ్ర 20 భాగాల్లో ఖచ్చితత్వంలో 9 నుంచి 19 పాయింట్ల ఆధిక్యంతో అది ఓడించిందని వారి పేపర్ నివేదిస్తుంది. Natural Questions డేటాసెట్లో సంఖ్యలు 59.1 శాతానికి 78.4 శాతం.
సెబాస్టియన్ రీడెల్, డౌవే కిలా, ప్యాట్రిక్ లూయిస్, అలెగ్జాండ్రా పిక్టస్ రాసిన 2020 సెప్టెంబర్ 28 నాటి Meta AI బ్లాగ్ పోస్ట్, RAG ను Facebook AI యొక్క డెన్స్ పాసేజ్ రిట్రీవర్ను BART తో కలపడంగా వర్ణిస్తుంది. అంతకుముందటి విధానం REALM, 2020 ఫిబ్రవరి 10న కెలవిన్ గూ, మరో నలుగురు సహ రచయితల నుంచి, లాంగ్వేజ్ మోడల్ ప్రీ-ట్రైనింగ్ సమయంలో రిట్రీవర్కు శిక్షణ ఇచ్చింది. ఆ ఖరీదైన ప్రత్యేక ప్రీ-ట్రైనింగ్ లేకుండానే RAG బలమైన ఫలితాలు సాధిస్తుందని, అత్యుత్తమ పనితీరుకు ప్రత్యేక రీ-ర్యాంకర్ అవసరం లేదని లూయిస్ పేపర్ చెబుతుంది.
మార్పిడి పరీక్ష
ప్రాక్టికల్ లాభాన్ని Meta పోస్ట్ ఒక వాక్యంలో చెబుతుంది: RAG తో “డాక్యుమెంట్లను మార్చడం ద్వారానే అది ఏమి తెలుసుకోవాలో మేము నియంత్రిస్తాము”. దాని వెనుక ఉన్న ప్రయోగాన్ని పేపర్ ఇస్తుంది, దాన్ని ఇండెక్స్ హాట్-స్వాపింగ్ అంటుంది.
రచయితలు 2016 డిసెంబర్ Wikipedia డంప్ నుంచి రెండో ఇండెక్స్ను నిర్మించి, ఆ రెండు తేదీల మధ్య మారిన 82 మంది ప్రపంచ నేతల జాబితా తయారు చేశారు. వారు “పెరూ అధ్యక్షుడు ఎవరు?” వంటి ప్రశ్నలను ప్రతి ఇండెక్స్కు అడిగారు. 2016 నేతలకు 2016 ఇండెక్స్తో 70 శాతం, 2018 నేతలకు 2018 ఇండెక్స్తో 68 శాతం సరిగ్గా సమాధానమిచ్చింది. తప్పు సంవత్సరపు ఇండెక్స్తో ఖచ్చితత్వం 12 శాతానికి, 4 శాతానికి పడిపోయింది. మోడల్ ప్రపంచ జ్ఞానాన్ని దాని నాన్-పారామెట్రిక్ మెమరీని, అంటే డాక్యుమెంట్ స్టోర్కు పేపర్ వాడే పదాన్ని, మార్చడం ద్వారా నవీకరించవచ్చని పేపర్ అభిప్రాయం.
ఆ మెమరీ ముడి టెక్స్ట్ కాబట్టి మనిషి చదవగలిగేది, రాయగలిగేది అని అదే పేపర్ గమనిస్తుంది. Jeopardy తరహా ప్రశ్నల రచనపై మానవ పోలికలో, 452 జతల అవుట్పుట్లలో 42.7 శాతంలో RAG ను BART బేస్లైన్ కంటే ఎక్కువ వాస్తవికమైనదిగా న్యాయనిర్ణేతలు భావించారు, 7.1 శాతంలో BART ను.
Hugging Face యొక్క Transformers లైబ్రరీలో భాగంగా మోడల్ను విడుదల చేశారని Meta పోస్ట్ చెబుతుంది. ఆ లైబ్రరీకి మోడల్ చేర్పును Hugging Face డాక్యుమెంటేషన్ పేజీ 2020 నవంబర్ 16గా తేదీ వేస్తుంది, ఆలోచనను అవే మాటల్లో వర్ణిస్తుంది: సంబంధిత భాగాలను తెచ్చి, తర్వాత సమాధానాన్ని వాటిపై ఆధారపెట్టడం, తద్వారా ఇండెక్స్ను మార్చడం ద్వారా జ్ఞానం నవీకరిస్తుంది.
ముక్కలు సందర్భాన్ని కోల్పోయే చోట
బలహీన బిందువు కోయడంలోనే ఉంది. Anthropic పోస్ట్ ఒక ఉదాహరణ ఇస్తుంది: “కంపెనీ ఆదాయం గత త్రైమాసికంతో పోలిస్తే 3 శాతం పెరిగింది” అని ఉన్న ముక్క ఏ కంపెనీ, ఏ త్రైమాసికం అనేది చెప్పదు, కాబట్టి ఒక నిర్దిష్ట సంస్థ ఫలితాల కోసం వెతికితే అది తప్పిపోవచ్చు. Anthropic పరిష్కారం Contextual Retrieval, ప్రతి ముక్కకు డాక్యుమెంట్లో అది ఎక్కడి నుంచి వచ్చిందో చెప్పే చిన్న నోట్ను, సాధారణంగా 50 నుంచి 100 టోకెన్లది, ఒక మోడల్ రాసేలా చేసి, ఇండెక్సింగ్కు ముందు ఆ నోట్ను ముక్కకు ముందు ఉంచుతుంది.
కోడ్బేస్లు, కల్పన, arXiv పేపర్లు, సైన్స్ పేపర్లపై సగటున, తెచ్చిన అగ్ర 20 లో కనిపించకుండా పోయిన సంబంధిత భాగాల వాటాగా Anthropic తన ఫలితాలను నివేదిస్తుంది:
- సాధారణ ఎంబెడ్డింగ్లు: 5.7 శాతం విఫలమయ్యాయి.
- కాంటెక్స్ట్ ఎంబెడ్డింగ్లతో: 3.7 శాతం.
- కాంటెక్స్ట్ ఎంబెడ్డింగ్లు, కాంటెక్స్ట్ BM25 తో: 2.9 శాతం.
- రీర్యాంకింగ్ దశ చేర్చితే: 1.9 శాతం.
ఈ సంఖ్యలు Anthropic తన సొంత డేటాసెట్లపై చేసిన సొంత టెస్టులు, Gemini యొక్క Text 004 ఎంబెడ్డింగ్లు, Cohere రీర్యాంకర్తో నడిపారు, స్వతంత్ర రెప్లికేషన్ గురించి పోస్ట్ వివరించదు. మొత్తం విధానానికి ఒక పరిమితిని అదే పోస్ట్ జతచేస్తుంది: నాలెడ్జ్ బేస్ సుమారు 200,000 టోకెన్ల కంటే, అంటే సుమారు 500 పేజీల కంటే, చిన్నదైతే రిట్రీవల్ అసలు లేకుండా దాన్ని నేరుగా ప్రాంప్ట్లో పెట్టవచ్చు.
రిట్రీవల్ తొలగించనివి
రిట్రీవల్ కల్పిత సమాధానాల రేటును తగ్గిస్తుంది, దాన్ని సున్నాకు తేదు. చాట్బాట్ లోపల రిట్రీవల్ హాలూసినేషన్ను మానవ మూల్యాంకనదారుల అంచనాలో గణనీయంగా తగ్గించిందని 2021లో షస్టర్, మరో నలుగురు సహ రచయితలు నివేదించారు. మిగిలిన వైఫల్యాన్ని గావో సర్వే జాబితా చేస్తుంది: తెచ్చిన టెక్స్ట్ సమర్థించని కంటెంట్ను మోడల్ ఇప్పటికీ రాయగలదు, రిట్రీవల్ దశే సరిపోలని ముక్కలను ఎంచుకోవచ్చు.
ఉత్పత్తి వాదనకు స్పష్టమైన పరీక్ష న్యాయరంగంలో ఉంది. మగేష్, మరో ఐదుగురు సహ రచయితలు RAG వాడే వాణిజ్య న్యాయ పరిశోధన సాధనాలను మూల్యాంకనం చేసి, ప్రతిదీ 17 నుంచి 33 శాతం సమయం హాలూసినేట్ చేసిందని, సాధారణ-ప్రయోజన చాట్బాట్గా GPT-4 కంటే తక్కువసార్లు, కానీ సున్నా కంటే చాలా ఎక్కువ అని కనుగొన్నారు, ఇది “హాలూసినేషన్-రహిత” న్యాయ ఉల్లేఖనాల గురించిన విక్రేతల వాదనలకు విరుద్ధం. AI హాలూసినేషన్పై tuput వివరణ ఆ అధ్యయనాన్ని, తర్వాత వచ్చిన కోర్టు ఉత్తర్వులను కవర్ చేస్తుంది, పెద్ద లాంగ్వేజ్ మోడల్కు ఎలా శిక్షణ ఇస్తారనే దానిపై వ్యాసం RAG అదనంగా అందించే, సంఖ్యల్లో నిల్వ ఉన్న జ్ఞానాన్ని వివరిస్తుంది.
సమాధానం ఎక్కడి నుంచి వచ్చిందో చూపగల సామర్థ్యాన్ని, అంటే ప్రోవినెన్స్ను, తెరిచి ఉన్న పరిశోధన సమస్యగా లూయిస్ సొంత సారాంశం జాబితా చేస్తుంది. 2023 సర్వే మరింత ఆశావాదంగా ఉంది: రిట్రీవల్ ఆధారిత జనరేషన్ అసలు సూచనలను త్వరగా కనుగొనగలదని, తద్వారా వినియోగదారులు సమాధానాన్ని ధృవీకరించవచ్చని అది చెబుతుంది. ఒక ఉత్పత్తి ఆ సూచనలను చూపిస్తుందా లేదా అనేది అది ఎలా నిర్మించారనే దానిపై ఆధారపడి ఉంటుంది.
ఒక భారతీయ ఉదాహరణ, తెలిసిన దానిపై పరిమితులతో
భారత వ్యవసాయ, రైతు సంక్షేమ మంత్రిత్వ శాఖ 2026 ఫిబ్రవరి 17న Bharat-VISTAAR మొదటి దశను ప్రారంభించింది. ఫిబ్రవరి 16 నాటి దాని ప్రకటన, ఈ వేదిక ప్రభుత్వ, శాస్త్రీయ మూలాలను అనుసంధానించి రైతులకు సమాచారం అందిస్తుందని చెబుతుంది, భారత వాతావరణ శాఖ నుంచి వాతావరణం, AgMarkNet నుంచి మండీ ధరలు, నేషనల్ పెస్ట్ సర్వైలెన్స్ సిస్టమ్ నుంచి చీడపీడల సలహా, AgriStack డేటా, 10 కేంద్ర పథకాలతో. రైతు హిందీ లేదా ఇంగ్లిష్లో 155261 కు కాల్ చేయవచ్చు, ఆ ప్రకటన వేదికను “ధృవీకరించిన, సురక్షితమైన సమాచారం ఆధారంగా” అని వర్ణిస్తుంది.
ఆ ప్రకటన కానీ, 2026 మార్చి 13న రాజ్యసభలో మంత్రిత్వ శాఖ సమాధానం కానీ దిగువన ఉన్న సాఫ్ట్వేర్ను వివరించవు, సిస్టమ్ రిట్రీవల్-ఆగ్మెంటెడ్ జనరేషన్ వాడుతుందని చెప్పవు, కాబట్టి ఈ వ్యాసం అది వాడుతుందని చెప్పదు. ఆ పేజీలు వివరించేది RAG ఏ డిజైన్కు మద్దతుగా ఉందో అదే: మోడల్ జ్ఞాపకం నుంచి కాకుండా పేరున్న అధికారిక రికార్డుల నుంచి రావాలనుకునే సమాధానాలు. tuput లోని మరో వ్యాసం Bharat-VISTAAR ను ఇతర నమోదైన వ్యవసాయ వినియోగాల పక్కన ఉంచుతుంది.
భారత వ్యవసాయ పరిశోధన మండలి నుంచి పంట పద్ధతులు వేదికలో భాగమని, ప్రారంభమైన మూడు నెలల్లో మరో నాలుగు భాషలు, ఆరు నెలల్లో మరో ఐదు భాషలు ప్రణాళికలో ఉన్నాయని మార్చి 13 సమాధానం జతచేస్తుంది.
మూలాలు మరియు మరింత చదవడానికి
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401, submitted 22 May 2020)
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, full paper (PDF)
- NeurIPS 2020 Proceedings: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Meta AI blog: Retrieval Augmented Generation, streamlining the creation of intelligent natural language processing models (28 September 2020)
- Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering (arXiv:2004.04906)
- Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering, full paper (PDF)
- Guu et al.: REALM, Retrieval-Augmented Language Model Pre-Training (arXiv:2002.08909, 10 February 2020)
- Hugging Face Transformers documentation: RAG
- Anthropic: Introducing Contextual Retrieval (19 September 2024)
- Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey (arXiv:2312.10997)
- Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey, full paper (PDF)
- Magesh et al.: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv:2405.20362)
- Shuster et al.: Retrieval Augmentation Reduces Hallucination in Conversation (arXiv:2104.07567)
- PIB, Ministry of Agriculture and Farmers Welfare: Bharat-VISTAAR to be launched on 17 February (16 February 2026)
- PIB, Ministry of Agriculture and Farmers Welfare: Rollout of BHARAT-VISTAAR Platform, Rajya Sabha reply (13 March 2026)
ఈ వ్యాసం AI సాధనాల సహాయంతో పరిశోధించి రాయబడింది మరియు కచ్చితత్వం కోసం సవరించబడింది. ఇది సాధారణ సమాచారం మరియు చర్చ కోసం మాత్రమే, వృత్తిపరమైన సలహా కాదు. మా సంపాదకీయ ప్రమాణాలు మరియు నిరాకరణ చూడండి. తప్పు కనిపించిందా? మాకు తెలియజేయండి.
నచ్చిందా? తదుపరిది పొందండి.
ఒకసారి ఒక మంచి వ్యాసం, నేరుగా మీ ఇన్బాక్స్కు. స్పామ్ లేదు, ఎప్పుడైనా ఆపవచ్చు.