رسم: tuput
العربية
التوليد المعزز بالاسترجاع، أو RAG، يجعل النموذج اللغوي يبحث عن مقاطع في مجموعة وثائق ثم يكتب إجابته منها. وقد حققت الورقة التي سمّته عام 2020 أفضل مستوى معروف في ثلاث مهام للأسئلة المفتوحة المجال، وبيّن مؤلفوها أن إجابات النموذج تتغير حين تُبدَّل الوثائق، دون إعادة تدريب.
يحتفظ النموذج اللغوي بما تعلمه في التدريب داخل أرقامه هو، وتحديث تلك الأرقام يعني تدريبه من جديد. وفي ورقة قُدمت إلى arXiv في 22 مايو 2020 وقُبلت في NeurIPS 2020، وصف باتريك لويس وإيثان بيريز وألكسندرا بيكتوس وفابيو بيتروني وثمانية من زملائهم ترتيبا مختلفا. فنموذجهم، المسمى التوليد المعزز بالاسترجاع أو RAG، يبحث أولا في مجموعة وثائق ثم يكتب إجابته وأفضل المقاطع أمامه. وقد حقق أفضل مستوى معروف في ثلاث مهام للإجابة عن الأسئلة المفتوحة المجال، وأتاح للمؤلفين تغيير ما يعرفه النموذج بتغيير المجموعة.
الخطوات الأربع بكلمات بسيطة
للخط الإنتاجي الشكل نفسه في ورقة 2020 وفي الأنظمة التي بُنيت بعدها. ويسرد منشور Anthropic الهندسي لعام 2024 خطوات الإعداد: تقطيع الوثائق إلى مقاطع نصية لا تزيد عادة على بضع مئات من الرموز (الرمز، أو token، قطعة قصيرة من كلمة)؛ واستخدام نموذج تضمين لتحويل كل مقطع إلى متجه، وهو قائمة أرقام ترمّز المعنى؛ وتخزين المتجهات في قاعدة بيانات يمكن البحث فيها بالتشابه.
وعند طرح السؤال، يحوّل النظام السؤال إلى متجه بالطريقة نفسها، ويجلب المقاطع التي تقع متجهاتها أقرب إليه، ويضيفها إلى المطالبة المرسلة إلى مولّد النص. ويسمي غاو وتسعة من زملائه، في مسح للمجال عام 2023، هذه النسخة ذات المراحل الثلاث «RAG الساذج»: الفهرسة والاسترجاع والتوليد.
والأرقام في الورقة الأصلية محددة. فقد أخذ لويس وزملاؤه نسخة ويكيبيديا الإنجليزية في ديسمبر 2018 وقسموا كل مقالة إلى مقاطع منفصلة من 100 كلمة، فبلغ ذلك 21 مليون وثيقة. وبحثوا في الفهرس بطريقة تقريبية سريعة، واسترجعوا 5 أو 10 مقاطع لكل سؤال في التدريب، وغذّوا بها BART-large، وهو مولّد نصوص من 400 مليون معامل، مع السؤال.
المسترجِع الذي سبق
جاء نصف البحث من ورقة قُدمت في 10 أبريل 2020، قبل ورقة لويس بستة أسابيع. فقد بنى فلاديمير كاربوخين وسبعة من زملائه، ومنهم لويس، الاسترجاع الكثيف للمقاطع، الذي يطابق الأسئلة بالمقاطع بالمعنى لا بالكلمات المشتركة. وتفيد ورقتهم بأنه تفوق على نظام BM25 القوي، وهو الطريقة القديمة لمطابقة الكلمات، بما بين 9 و19 نقطة من الدقة المطلقة عند أفضل 20 مقطعا. وفي مجموعة Natural Questions كانت الأرقام 78.4 بالمئة مقابل 59.1 بالمئة.
ويصف منشور Meta AI في 28 سبتمبر 2020، الذي كتبه سيباستيان ريدل ودوف كيلا وباتريك لويس وألكسندرا بيكتوس، RAG بأنه مسترجع المقاطع الكثيف من Facebook AI موصولا بـBART. أما نهج سابق هو REALM، من كيلفين غو وأربعة من زملائه في 10 فبراير 2020، فقد درّب مسترجعا أثناء التدريب المسبق للنموذج اللغوي. وتقول ورقة لويس إن RAG يبلغ نتائج قوية دون ذلك التدريب المسبق الخاص المكلف، وإنه لا حاجة إلى معيد ترتيب منفصل لبلوغ أفضل مستوى معروف.
اختبار التبديل
يضع منشور Meta المكسب العملي في جملة واحدة: مع RAG، «نتحكم فيما يعرفه ببساطة بتبديل الوثائق». وتعرض الورقة التجربة التي تقف وراء ذلك، وتسميها التبديل الفوري للفهرس.
فقد بنى المؤلفون فهرسا ثانيا من نسخة ويكيبيديا في ديسمبر 2016 وأعدوا قائمة من 82 زعيما في العالم تغيروا بين التاريخين. وسألوا النموذج «من هو رئيس بيرو؟» وأسئلة مشابهة عن كل فهرس. فأجاب 70 بالمئة إجابة صحيحة بفهرس 2016 عن زعماء 2016 و68 بالمئة بفهرس 2018 عن زعماء 2018. وبفهرس سنة خاطئة، هبطت الدقة إلى 12 بالمئة و4 بالمئة. وقراءة الورقة أن معرفة النموذج بالعالم يمكن تحديثها باستبدال ذاكرته غير المعلمية، وهو مصطلحها لمخزن الوثائق.
وتلاحظ الورقة نفسها أن الذاكرة نص خام، فهي مقروءة للبشر وقابلة للكتابة من البشر. وفي مقارنة بشرية على كتابة أسئلة بأسلوب Jeopardy، وجد الحكّام أن RAG أدق وقائعيا من خط الأساس BART في 42.7 بالمئة من 452 مخرجا مقترنا، وأن BART أدق في 7.1 بالمئة.
ويقول منشور Meta إن النموذج أُصدر ضمن مكتبة Transformers من Hugging Face. وتؤرخ صفحة توثيق Hugging Face مساهمة النموذج في تلك المكتبة بـ16 نوفمبر 2020 وتصف الفكرة بالعبارات نفسها: جلب مقاطع ذات صلة ثم بناء الإجابة عليها، بحيث تُحدَّث المعرفة بتغيير الفهرس.
حيث تفقد المقاطع سياقها
نقطة الضعف هي التقطيع. ويعطي منشور Anthropic مثالا: مقطع نصه «نما إيراد الشركة 3 بالمئة عن الربع السابق» لا يقول أي شركة ولا أي ربع، فقد يفوته بحث عن نتائج شركة بعينها. وحل Anthropic، Contextual Retrieval، يجعل نموذجا يكتب لكل مقطع ملاحظة قصيرة، عادة من 50 إلى 100 رمز، تقول أين موقعه في الوثيقة، ويضع تلك الملاحظة أمام المقطع قبل الفهرسة.
وتعرض Anthropic نتائجها بوصفها حصة المقاطع ذات الصلة التي لم تظهر بين أفضل 20 مقطعا مسترجعا، بمتوسط على مستودعات الشيفرة والقصص وأوراق arXiv والأوراق العلمية:
- التضمينات العادية: 5.7 بالمئة أخفقت.
- مع التضمينات السياقية: 3.7 بالمئة.
- مع التضمينات السياقية وBM25 السياقي: 2.9 بالمئة.
- مع إضافة خطوة إعادة ترتيب: 1.9 بالمئة.
والأرقام اختبارات Anthropic نفسها على مجموعات بياناتها نفسها، أجريت بتضمينات Text 004 من Gemini ومعيد ترتيب من Cohere، ولا يصف المنشور تكرارا مستقلا لها. ويضيف المنشور نفسه حدا على المقاربة كلها: إذا كانت قاعدة المعرفة أصغر من نحو 200,000 رمز، أي قرابة 500 صفحة، فيمكن ببساطة وضعها في المطالبة دون استرجاع على الإطلاق.
ما لا يزيله الاسترجاع
الاسترجاع يخفض معدل الإجابات المختلقة ولا يبلغ به الصفر. فقد أفاد شوستر وأربعة من زملائه عام 2021 بأن الاسترجاع داخل المساعد الآلي خفّض الهلوسة بدرجة كبيرة، بحسب تقييم مقيّمين بشريين. ويسرد مسح غاو الإخفاق الذي يبقى: فالنموذج ما زال يستطيع كتابة محتوى لا يسنده النص المسترجع، وقد تختار خطوة الاسترجاع نفسها مقاطع غير متوافقة.
وأوضح اختبار لادعاء منتج يقع في القانون. فقد قيّم ماجيش وخمسة من زملائه أدوات تجارية للبحث القانوني تستخدم RAG، ووجدوا أن كلا منها يهلوس بين 17 و33 بالمئة من الوقت، أقل من GPT-4 بوصفه مساعدا عاما، وأعلى بكثير من الصفر، في مقابل ادعاءات الشركات بأن استشهاداتها القانونية «خالية من الهلوسة». ويتناول شرح tuput عن هلوسة الذكاء الاصطناعي تلك الدراسة وأوامر المحاكم التي تلتها، ويشرح الشرح عن كيفية تدريب نموذج لغوي كبير المعرفة المخزنة في الأرقام التي يكمّلها RAG.
وتعدّ خلاصة لويس نفسها المصدرية، أي القدرة على إظهار مصدر الإجابة، مسألة بحثية مفتوحة. والمسح عام 2023 أكثر تفاؤلا: يقول إن التوليد القائم على الاسترجاع يستطيع تحديد المراجع الأصلية بسرعة ليتحقق المستخدمون من الإجابة. وهل يعرض منتج بعينه تلك المراجع يتوقف على كيفية بنائه.
مثال هندي، مع حدود لما هو معروف
أطلقت وزارة الزراعة ورفاه المزارعين الهندية المرحلة الأولى من Bharat-VISTAAR في 17 فبراير 2026. ويقول بيانها في 16 فبراير إن المنصة توصل المعلومات إلى المزارعين بربط مصادر حكومية وعلمية، مع الطقس من إدارة الأرصاد الهندية، وأسعار الأسواق من AgMarkNet، ونصائح الآفات والأمراض من نظام ترصد الآفات الوطني، وبيانات AgriStack و10 مخططات مركزية. ويستطيع المزارع الاتصال بالرقم 155261 بالهندية أو الإنجليزية، ويصف البيان المنصة بأنها «قائمة على معلومات موثقة وآمنة».
ولا يصف ذلك البيان ولا رد الوزارة في راجيا سابها في 13 مارس 2026 البرمجيات الكامنة تحتها ولا يقولان إن النظام يستخدم التوليد المعزز بالاسترجاع، فلا يزعم هذا المقال ذلك. وما تصفه الصفحتان هو التصميم الذي وُجد RAG لدعمه: إجابات يُراد لها أن تأتي من سجلات رسمية مسماة لا من ذاكرة نموذج. ومقال آخر في tuput يضع Bharat-VISTAAR بجانب تطبيقات زراعية موثقة أخرى.
ويضيف رد 13 مارس أن ممارسات المحاصيل من المجلس الهندي للبحوث الزراعية جزء من المنصة، وأن أربع لغات أخرى مخطط لها في غضون ثلاثة أشهر من الإطلاق وخمسا أخرى في غضون ستة.
المصادر وقراءات إضافية
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401, submitted 22 May 2020)
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, full paper (PDF)
- NeurIPS 2020 Proceedings: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Meta AI blog: Retrieval Augmented Generation, streamlining the creation of intelligent natural language processing models (28 September 2020)
- Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering (arXiv:2004.04906)
- Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering, full paper (PDF)
- Guu et al.: REALM, Retrieval-Augmented Language Model Pre-Training (arXiv:2002.08909, 10 February 2020)
- Hugging Face Transformers documentation: RAG
- Anthropic: Introducing Contextual Retrieval (19 September 2024)
- Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey (arXiv:2312.10997)
- Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey, full paper (PDF)
- Magesh et al.: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv:2405.20362)
- Shuster et al.: Retrieval Augmentation Reduces Hallucination in Conversation (arXiv:2104.07567)
- PIB, Ministry of Agriculture and Farmers Welfare: Bharat-VISTAAR to be launched on 17 February (16 February 2026)
- PIB, Ministry of Agriculture and Farmers Welfare: Rollout of BHARAT-VISTAAR Platform, Rajya Sabha reply (13 March 2026)
أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.
أعجبك المقال؟ احصل على التالي.
مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.