Skip to content
الأفق الزمني لدى METR قدّر GPT-4 بـ4 دقائق وClaude Mythos Preview بـ17.4 ساعة من العمل البشري، والمنظمة غير الربحية نفسها تقول إن القراءات فوق 16 ساعة غير موثوقة
الذكاء الاصطناعي والتكنولوجيا

الأفق الزمني لدى METR قدّر GPT-4 بـ4 دقائق وClaude Mythos Preview بـ17.4 ساعة من العمل البشري، والمنظمة غير الربحية نفسها تقول إن القراءات فوق 16 ساعة غير موثوقة

رسم: tuput

العربية

الأفق الزمني بنسبة 50% لدى METR هو طول المهمة، الذي يحدده الوقت الذي يستغرقه أشخاص مهرة، والذي ينجزه وكيل ذكاء اصطناعي نصف المرات. ويدرج ملف بيانات METR نموذج GPT-4 عند نحو 4 دقائق وClaude Mythos Preview (النسخة المبكرة) عند نحو 17.4 ساعة، وتقول METR إن القراءات فوق 16 ساعة غير موثوقة على مهامها الحالية.

· · 8 دقيقة قراءة

تقيّم METR، وهي منظمة غير ربحية في بيركلي تختبر وكلاء الذكاء الاصطناعي، النموذجَ بطول المهمة التي ينجزها نصف المرات، ويحدَّد الطول بالوقت الذي يستغرقه أشخاص مهرة. ويدرج ملف بيانات METR المفتوح نموذج GPT-4 (مارس 2023) عند نحو 4 دقائق وClaude Mythos Preview (النسخة المبكرة)، المدرج بتاريخ إصدار أبريل 2026، عند نحو 17.4 ساعة. وتقول صفحة METR نفسها: “القياسات فوق 16 ساعة غير موثوقة مع مجموعة مهامنا الحالية”.

ما الذي يعدّه الأفق الزمني بنسبة 50%

يأتي المقياس من ورقة بعنوان “قياس قدرة الذكاء الاصطناعي على إنجاز مهام برمجية طويلة”، نشرها على arXiv في 18 مارس 2025 ستة وعشرون مؤلفا بقيادة توماس كوا. وكانت ملصقا في NeurIPS 2025 وروجعت آخر مرة في 10 يوليو 2026. وتعرّف METR الأفق الزمني بنسبة 50% بأنه مدة المهمة، مقيسة بالوقت الذي يستغرقه خبير بشري، التي يُتوقع أن ينجح عندها الوكيل نصف المرات.

وساعة التوقيت تدور من جهة البشر. فمهمة ينجزها أشخاص مهرة في ساعتين تقع عند ساعتين على المقياس، سواء احتاج نموذج إلى عشر دقائق أو لم ينجزها قط. وتقول الأسئلة الشائعة لدى METR إن الأفق يصف مدى صعوبة المهمة ولا يقول شيئا عن الوقت الذي يقضيه الذكاء الاصطناعي فيها. وتضيف الأسئلة نفسها أن الوكلاء أسرع عادة بعدة أضعاف من البشر في المهام التي ينجزونها.

والأفق بنسبة 50% منحنى مُلاءَم، ولا يعني أن النموذج ينجح في نصف كل مهمة بذلك الطول. وتستخدم الأسئلة الشائعة GPT-5 مثالا. ففي مهام استغرقت الخبراء البشر من 90 دقيقة إلى 3 ساعات، نجح وكيل GPT-5 في كل المرات في نحو ثلث المهام، وأخفق في كل المرات في نحو ثلثها، وتأرجح بين النجاح والإخفاق في الباقي.

وأفادت METR في منشورها في مارس 2025 بأن النماذج التي اختبرتها حينذاك نجحت تقريبا في كل المرات في مهام استغرقت الناس أقل من 4 دقائق، وفي أقل من 10% من المرات في مهام استغرقت أكثر من نحو 4 ساعات.

كيف بُني المقياس

كانت المجموعة الأصلية من 170 مهمة من ثلاثة مصادر. جاءت سبع وتسعون منها من HCAST، وهو معيار من 189 مهمة في تعلم الآلة والأمن السيبراني وهندسة البرمجيات والاستدلال. وكانت سبع منها بيئات RE-Bench، مدة كل منها ثماني ساعات. وجمع مؤلفو RE-Bench 71 محاولة مدتها ثماني ساعات من 61 خبيرا بشريا ووجدوا أن أفضل وكلاء الذكاء الاصطناعي سجلوا 4 أضعاف ما سجله الخبراء في ميزانية ساعتين، بينما تقدم البشر بفارق ضئيل عند ثماني ساعات. أما الـ66 الأخيرة فكانت مهام قصيرة كتبتها METR للورقة، مدة كل منها من ثانية إلى 30 ثانية.

وتظهر أمثلة الورقة المدى. أقصرها سؤال اختيار من متعدد، “أي ملف هو سكربت شل؟”، بنحو 3 ثوان. ومهمة من 56 دقيقة تطلب سكربت بايثون يحوّل JSON من صيغة إلى أخرى باستنتاج القواعد من ملفات عينة. ومهمة من ثماني ساعات تطلب من وكيل تسريع أداة لاختبار التداول الرجعي بشيفرة CUDA مخصصة، بهدف مكسب قدره 30 ضعفا.

وكل مهمة تُصحَّح آليا. أما الأطوال فاستأجرت METR لها أشخاصا: أكثر من 800 قياس مرجعي بمجموع 2,529 ساعة، من محترفين مهرة في هندسة البرمجيات أو تعلم الآلة أو الأمن السيبراني بمتوسط نحو 5 سنوات من الخبرة ذات الصلة. وطول المهمة هو المتوسط الهندسي لأزمنة البشر الناجحين. ولكل نموذج تلاءم METR منحنى لاحتمال النجاح مقابل طول المهمة وتقرأ النقطة التي يقطع عندها 50%.

وفي 29 يناير 2026 أصدرت METR النسخة Time Horizon 1.1. فنمت المجموعة من 170 إلى 228 مهمة، بإضافة 73 كلها من HCAST وحذف 15. وارتفع عدد المهام المقدّرة بـ8 ساعات فأكثر من 14 إلى 31. ونقلت METR أيضا شيفرة التقييم من أداة داخلية تسمى Vivaria إلى Inspect، وهو إطار مفتوح المصدر طوّره معهد أمن الذكاء الاصطناعي البريطاني (وتسمّي وثائقه الآن Meridian Labs شريكا في تطويره) ويأتي بأكثر من 200 تقييم جاهز. واختبار المعهد لوكلائه موضوع تقرير حادثته في يوليو 2026.

وقارنت METR النظامين على خمسة نماذج. فاختلفت التقديرات قليلا، وسجّل GPT-4o وo3 درجة أعلى بكثير في Vivaria، وهو ما قرأته METR حساسية للتعليمات والأدوات المحيطة بالنموذج.

ما يدرجه ملف البيانات

تربط صفحة الآفاق الزمنية لدى METR ببياناتها الخام. ويدرج الملف كما قُرئ في 12 نوفمبر 2026 هذه الآفاق بنسبة 50%، مع تواريخ الإصدار كما يعطيها الملف. والعمود الأخير هو فاصل METR نفسها من إعادة أخذ العينات الإحصائية.

النموذجتاريخ الإصدار المدرجالأفق بنسبة 50%فاصل METR
GPT-414 مارس 20234 دقائقمن 1.9 إلى 8 دقائق
o15 ديسمبر 202439 دقيقةمن 21 إلى 65 دقيقة
Claude 3.7 Sonnet24 فبراير 202560 دقيقةمن 33 إلى 104 دقائق
o316 أبريل 2025120 دقيقةمن 75 إلى 191 دقيقة
GPT-57 أغسطس 20253.4 ساعةمن 1.9 إلى 6.8 ساعة
Claude Opus 4.524 نوفمبر 20254.9 ساعةمن 2.7 إلى 10.4 ساعة
Claude Opus 4.65 فبراير 202612.0 ساعةمن 5.3 إلى 60.6 ساعة
Claude Mythos Preview (النسخة المبكرة)7 أبريل 202617.4 ساعةمن 8.5 إلى 55.1 ساعة

وتتسع الفواصل عند القمة. فرقم Claude Opus 4.6 البالغ 12.0 ساعة يأتي بمدى من 5.3 إلى 60.6 ساعة. وكان أول تقدير في الورقة لـGPT-2 نحو ثانيتين، ويدرج ملف METR الآن نحو 3.

وتحرك رقم النموذج نفسه أيضا حين راجعت METR مجموعتها. فقد أُدرج Claude Opus 4.5 عند 289 دقيقة بالطريقة الأصلية و320 دقيقة في إصدار يناير 2026 و293 دقيقة في الملف الحالي. ويسجّل سجل تحديثات الصفحة أن METR صححت خطأ في التنظيم (regularization) في 3 مارس 2026. وسار GPT-5 في مسار مماثل، من 138 دقيقة إلى 214 ثم 203. وما زالت الأسئلة الشائعة في الصفحة نفسها تذكر GPT-5 عند “نحو ساعتين و17 دقيقة”، وهو قريب من الرقم الأقدم.

ما سرعة صعود الخط

لاءمت ورقة 2025 خطا مستقيما، على مقياس لوغاريتمي، عبر آفاق من 2019 إلى أوائل 2025. ووجدت تضاعفا واحدا كل سبعة أشهر تقريبا، أي 207 أيام بفاصل ثقة 95% من 166 إلى 240 يوما، وقالت إن الاتجاه ربما تسارع منذ 2024. وأجرت الورقة أيضا استقراء ساذجا إلى أفق شهر واحد من 167 ساعة عمل، وقع بين منتصف 2028 ومنتصف 2031، ويقول مؤلفوها إن التوقعات الحقيقية ستحمل خطأ أكبر.

ومع المجموعة الأكبر في يناير 2026، أفادت METR بزمن تضاعف قدره 131 يوما للنماذج منذ 2023، مقابل 165 يوما بالمجموعة الأصلية. وعلى الفترة كلها، بضم التقديرات الجديدة إلى القديمة للنماذج الأسبق، بقي الرقم 196 يوما. وللنماذج منذ 2024 انخفض من 109 أيام إلى 89. وتقول METR إن المهام الجديدة ربما تأتي من مزيج صعوبة مختلف قليلا وإن الاتجاه حساس إلى حد ما لأي المهام في المجموعة.

ويعطي ملف البيانات الآن 129 يوما منذ 2023 (فاصل من 104 إلى 158 يوما) و188 يوما إجمالا، ويشير إلى أنه يستبعد التقديرات فوق 16 ساعة. وكتب كوا في ملاحظة لـMETR في يناير 2026 أن ميل الاتجاه طويل الأمد هو الرقم الذي يُعتمد عليه وليس الأفق الدقيق لأي نموذج بعينه. وتحمل الملاحظة إخلاء المسؤولية المعتاد لدى METR بأن الملاحظات غير مصقولة ولا تعكس بالضرورة آراء المنظمة.

وفي يوليو 2025 طبّق كوا وفينسنت تشينغ الطريقة على تسعة معايير قائمة. وكانت لاختبارات البرمجيات والاستدلال مثل GPQA ومسابقات الرياضيات وLiveCodeBench آفاق من 50 إلى 200 دقيقة أو أكثر. وكانت لاستخدام الحاسوب البصري (OSWorld وWebArena) آفاق أقصر بـ40 إلى 100 مرة لكنها ترتفع بمعدل مماثل. أما القيادة الذاتية، مقيسة ببيانات Tesla FSD، فتحسنت ببطء أكبر، بنحو 0.6 تضاعف في السنة. وتصف METR نتيجة أي معيار منفرد بأنها مشوشة نسبيا.

ما تقول METR إن الرقم لا يعنيه

في ملاحظة كوا عنوان موجه إلى أشيع سوء قراءة: “الأفق الزمني ليس طول الوقت الذي يستطيع الذكاء الاصطناعي العمل فيه باستقلال”. وهي تصف مقدار العمل البشري المتسلسل الذي يستطيع نموذج أن يحل محله بنسبة نجاح 50%.

وتجيب الأسئلة الشائعة لدى METR بـ”لا” عن سؤال هل يعني أفق من 8 ساعات أن الذكاء الاصطناعي يستطيع أتمتة كل الوظائف، وتعطي ثلاثة أسباب. فالبشر الذين حددوا الأطوال أقرب إلى موظف جديد بسياق قليل منهم إلى محترف قديم في المشروع. والمهام في معظمها برمجيات وتعلم آلة وأمن سيبراني. ومعظم الوظائف تنطوي كذلك على أشخاص آخرين وأهداف لا يستطيع أي برنامج تقييمها. وتضيف الأسئلة الشائعة أن أزمنتها البشرية ربما تبالغ في تقدير ما يستغرقه خبير، لأن أصحاب القياسات المرجعية كان سياقهم أقل من محترفين يؤدون العمل نفسه.

ويكتب كوا أيضا أن أفقا بنسبة 50% قدره X ساعة لا يعني أن المهام الأقصر من X ساعة يمكن تسليمها، لأن بعض الأعمال الحرجة للموثوقية يحتاج نسب نجاح 98% أو أكثر. ويضيف أن مضاعفة الأفق لا تضاعف درجة الأتمتة. ومن 31 مهمة مقدّرة بـ8 ساعات فأكثر في مجموعة 2026، لخمس فقط أزمنة مرجعية بشرية، واستخدمت METR التقديرات للباقي. ويكتب كوا أنه لا يستطيع أن يقول هل الأفق الحقيقي لـClaude Opus 4.5 هو 3.5 أم 6.5 ساعة.

والغش يغيّر القراءة أيضا. ففي ملخصها في 26 يونيو 2026 لاختبار قبل الإصدار لـGPT-5.6 Sol، حصلت METR على نحو 11.3 ساعة حين عُدّت محاولات الغش إخفاقات، وأكثر من 270 ساعة حين عُدّت نجاحات، و71 ساعة حين استُبعدت، وقالت إنها لا تعتبر أيا من الثلاثة قياسا موثوقا. وقراءات أخرى لـMETR لوكلاء حديثين تقف إلى جانب اختبارات برمجة مستقلة، والمشكلة الأوسع لاستهلاك الاختبارات مغطاة في مقالنا عن المعايير.

فحص خارجي من إحصائيي بيركلي

في 8 أكتوبر 2026 نشر درو نغوين وويليام فيثيان، من قسم الإحصاء في جامعة كاليفورنيا في بيركلي، ورقة أولية تعيد حساب الآفاق على مهام METR الـ228 و26 نظام ذكاء اصطناعي. وتلاءم METR علاقة مستقيمة بين لوغاريتم زمن البشر وصعوبة الذكاء الاصطناعي. أما هما فلاءما منحنيات spline ونماذج استجابة المفردة، التي لا تفترضها.

ومنحناهما المُلاءَم شبه مسطح بين دقيقتين و30 دقيقة من زمن البشر وقريب من الخطي في ما عدا ذلك. وهكذا فقفزة في الأفق من 3 دقائق إلى 30 دقيقة أسهل من قفزة من 30 دقيقة إلى 5 ساعات، مع أن كلتيهما عشرة أضعاف. ويصفان عملهما بأنه نقد بنّاء، ويقدمان تقديرات نقطية تسجل نتائج أفضل في اختبارات التحقق المتقاطع، ويقترحان أن تُقرأ الآفاق بالرسوم التشخيصية، خاصة مع إضافة مهام أطول.

وحتى 12 نوفمبر 2026 تقول صفحة الآفاق الزمنية لدى METR إنها لم تعد تُحدَّث بنشاط، وهي ملاحظة أُضيفت في 8 سبتمبر 2026. وتقول الصفحة إنه في أثناء صيانتها قيس بعض النماذج بعد إصداره بزمن طويل وتُخطي بعضها الآخر لقلة السعة.

Share
Copied!

المصادر وقراءات إضافية

  1. METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
  2. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
  3. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
  4. NeurIPS 2025 poster page for the time horizon paper
  5. METR: Time Horizon 1.1 (29 January 2026)
  6. METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
  7. METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
  8. METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
  9. METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
  10. METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
  11. Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
  12. Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
  13. UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
  14. Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
  15. METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)

أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.

#metr#time horizon#ai agents#ai evaluation#ai benchmarks#inspect#hcast#re-bench

أعجبك المقال؟ احصل على التالي.

مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.

المزيد في الذكاء الاصطناعي والتكنولوجيا
تضع لوحة SWE-Bench Pro من Scale أفضل وكيل برمجة عند 61.5 في المئة، ويرفض القائمون على الشيفرة كثيرا من الإصلاحات التي تجتاز الاختبارات، وتقول METR إن تجربتها الأخيرة لا تستطيع إظهار كم من الوقت توفره الوكلاء
تقول المقاييس إن الوكلاء أقوياء. ويقول القائمون على الشيفرة وتجربة عشوائية وكومة من تقارير الحوادث إن الصورة أضيق. هذا ما يقيسه كل رقم فعلا.
نموذج DeepSeek V4.1-Flash مفتوح الأوزان بـ552 مليار معلمة، الذي صدر في 10 سبتمبر 2026، يخفّض ذاكرته المؤقتة لكل رمز إلى 890 بايتا، أي نحو ربع ما كان لسابقه
ذاكرة النموذج القصيرة المدى لمحادثة طويلة مكلفة في الاحتفاظ بها. وإصدار DeepSeek في سبتمبر يضغطها بحكم التصميم، ويقول تقريرها نفسه أين لا يزال النموذج متأخرا. هنا الآلية، والخط الزمني منذ 2024، وما تحقق منه الآخرون.
تحتوي أسئلة MMLU على أخطاء بنسبة تقدَّر بـ6.49%، واختبار رياضيات جديد خفّض درجات بعض النماذج حتى 8 نقاط، ونموذج Llama 4 الذي أدخلته Meta في LMArena لم يكن النموذج الذي أطلقته
تحدد لوحات المتصدرين أي نموذج جديد يبدو الأفضل، وقد دُققت مفاتيح إجاباتها وأسئلة اختباراتها وقواعد المشاركة فيها كلها. وهنا ما وجدته عمليات التدقيق، ومن أجراها، وما يقر به بناة المعايير.
← كل المقالات