رسم: tuput
العربية
أربع أوراق بحثية من عامي 2022 و2023 خفضت الذاكرة التي يحتاجها نموذج لغوي كبير، من LLM.int8 بثماني بتات إلى GPTQ وAWQ وQLoRA بأربع بتات. هنا ما قاسته كل ورقة بأرقام مؤلفيها أنفسهم، وما الصيغ المستخدمة اليوم.
في أغسطس 2022 أعلن تيم ديتمرز ومايك لويس ويونس بلقادة ولوك زيتلموير طريقة لتخزين أوزان النموذج اللغوي بثماني بتات بدل 16، فنصفت الذاكرة اللازمة لتشغيله دون خسارة في الدقة في اختباراتهم، حتى 175 مليار معلمة. وفي أكتوبر 2022 نشر فريق من ETH زيورخ ومعهد IST النمسا ورقة GPTQ التي خفضت الأوزان إلى 3 أو 4 بتات وشغّلت نموذج OPT ذا الـ175 مليار معلمة على بطاقة رسوميات واحدة بسعة 80 غيغابايت. وفي مايو 2023 ضبطت ورقة QLoRA نموذجا من 65 مليار معلمة على بطاقة واحدة بسعة 48 غيغابايت، وهي مهمة يقول مؤلفوها إنها تحتاج في الصيغة العادية بـ16 بت إلى أكثر من 780 غيغابايت.
هذا كله تكميم (quantisation): تخزين أرقام النموذج بعدد أقل من البتات. ووثائق Hugging Face تصفه بأنه خفض للذاكرة اللازمة لتحميل النموذج واستخدامه، بإبقاء الأوزان بدقة أدنى مع محاولة الحفاظ على أكبر قدر ممكن من الدقة. يمر هذا المقال على الأوراق بالترتيب، ويقول ما قاسته كل واحدة، ويشير إلى الادعاءات التي لا مصدر لها إلا المؤلفون أو الشركة التي تبيع العتاد.
الوزن رقم، وعدد البتات يحدد دقة كتابته
معلمات النموذج اللغوي، وتسمى أيضا الأوزان، هي الأرقام التي تعلمها في التدريب. في GPT-3 منها 175 مليارا. وبمعدل بايتين (16 بت) لكل واحد يبلغ الحجم 350 غيغابايت، وهو الرقم الذي تذكره ورقة AWQ؛ أما ورقة GPTQ فتحسبه 326 غيغابايت لأنها تستخدم الغيغابايت الثنائي. ويقول مؤلفو GPTQ إن هذا يتجاوز سعة أعلى بطاقة رسوميات منفردة، وتلاحظ ورقة AWQ أن بطاقة B200 الأحدث من Nvidia سعتها 192 غيغابايت.
الرقم ذو 16 بت يمكن أن يأخذ 65536 نمطا مختلفا، والرقم ذو 8 بتات 256، والرقم ذو 4 بتات 16. هذه حسابات بسيطة، وهي الصفقة كلها. وتسرد مقالة NVIDIA عن NVFP4 القيم التي يمكن أن تحملها قيمة عائمة بأربع بتات: 0 و0.5 و1 و1.5 و2 و3 و4 و6، مع إشارة. وكل وزن في المصفوفة يجب تقريبه إلى إحدى هذه النقاط القليلة، بعد تحجيم المصفوفة بحيث تقع أكبر قيمة فيها عند قمة المدى.
وهذا مثال متخيَّل، ليس مأخوذا من أي ورقة. إن كان في صف من الأوزان قيم قرب 0.02 و0.4 وقيمة واحدة عند 12، فالتحجيم إلى 8 بتات يضع خطوات بنحو 0.09 على المدى، ويُقرَّب 0.02 إلى الصفر. قيمة كبيرة واحدة تُخشِّن الشبكة لكل القيم الأخرى. والطرق الآتية هي سبل مختلفة للتعامل مع ذلك.
والصيغ الحقيقية تحمل أيضا ثوابت تحجيم، فـ«4 بتات» أكثر قليلا من أربع. يجدول ملف README في llama.cpp نموذج Llama 3.1 8B: 16.0005 بت لكل وزن و14.96 GiB عند 16 بت، و8.5008 بت و7.95 GiB في صيغته ذات الثماني بتات Q8_0، و4.8944 بت و4.58 GiB في Q4_K_M، وهي صيغة بأربع بتات تستخدمها أمثلته. أما NVFP4 من NVIDIA فتخزن مقياسا واحدا من 8 بتات لكل 16 قيمة، وتحسبه 4.5 بت للقيمة.
LLM.int8(): الـ0.1 في المئة من القيم التي كسرت نظام الثماني بتات
تبدأ ورقة LLM.int8()، التي عُرضت في NeurIPS 2022، من إخفاق. فالطرق السابقة بثماني بتات لم تُدرس إلا على نماذج أقل من 350 مليون معلمة، ووجد المؤلفون أن التقريب البسيط إلى 8 بتات يفشل كلما كبرت النماذج. فمنذ نحو 6.7 مليار معلمة تحمل حفنة من الأبعاد المخفية قيما أكبر بنحو 20 ضعفا من الباقي. وعند 6.7 مليار يقدّرون نحو 150 ألف قيمة شاذة من هذا النوع في كل متتالية، متركزة في 6 أبعاد فقط من الخصائص. وتصفير تلك الأبعاد أضعف الحيرة (perplexity)، وهي مقياس كلما انخفض كان أفضل، بما بين 600 و1000 في المئة، مع أنها نحو 0.1 في المئة من الخصائص.
الحل هو التقسيم. الأبعاد التي فيها قيمة مقدارها 6 فأكثر تُضرب بـ16 بت، والـ99.9 في المئة الباقية أو نحوها بـ8 بتات، مع مقياس منفصل لكل جداء داخلي. وفي اختبار C4 في الورقة، سجل نموذج من 13 مليار معلمة حيرة قدرها 12.45 بـ32 بت و19.08 بالتقريب البسيط إلى 8 بتات، و12.45 مع LLM.int8(). ويذكر المؤلفون أنه لا تدهور في نماذج OPT حتى 175 مليار معلمة، ويقولون إنه يجعل OPT-175B وBLOOM قابلين للاستخدام على خادم واحد ببطاقات رسوميات استهلاكية. وقد دُمجت برمجياتهم في مكتبة Hugging Face Transformers.
ويذكرون كذلك حدا. فطريقة الثماني بتات قد تعمل أبطأ من 16 بت في النماذج الأقل من 6.7 مليار معلمة، مع أنها تتسع في معظم بطاقات الرسوميات على أي حال، وهي أسرع بنحو الضعف في عمليات ضرب المصفوفات الكبيرة في نموذج من 175 مليار معلمة.
GPTQ: الضغط بعد التدريب في نحو أربع ساعات GPU
يبقي LLM.int8() على 8 بتات. أما ورقة GPTQ، من إلياس فرانتار وصالح أشكبوس وتورستن هوفلر ودان أليستارخ، فاستهدفت ما هو أدنى ودون إعادة تدريب. وهي طريقة من خطوة واحدة (one-shot)، أي أن النموذج المنتهي يُقرَّب في مرور واحد باستخدام معلومات تقريبية من الرتبة الثانية، ويذكر المؤلفون أنهم كمّموا نموذجا من 175 مليار معلمة في نحو أربع ساعات GPU على بطاقة A100 واحدة.
جدولها الرئيسي على OPT-175B، مقيسا بحيرة WikiText2. النموذج ذو 16 بت يسجل 8.34. وGPTQ بـ4 بتات يسجل 8.37، بينما التقريب البسيط إلى الأقرب يسجل 10.54. وعند 3 بتات ينهار التقريب إلى الأقرب إلى نحو 7300 ويسجل GPTQ 8.68. ويصف المؤلفون خسارة الدقة بأنها ضئيلة، ويلاحظون أن النماذج الأكبر بدت عموما أسهل تكميما، مع استثناء OPT-66B.
وحساب الذاكرة موجود في الورقة. عند 3 بتات يشغل OPT-175B نحو 63 غيغابايت، إضافة إلى نحو 9 غيغابايت لذاكرة المفاتيح والقيم السابقة عند 2048 رمزا، فيتسع في بطاقة واحدة سعتها 80 غيغابايت. ويقول المؤلفون إن التنفيذ بـ16 بت يحتاج خمس بطاقات من هذا النوع، وإن LLM.int8() يحتاج ثلاثا. ويذكرون أيضا توليدا أسرع بـ3.25 مرة من 16 بت على A100، وبـ4.5 مرة على بطاقات A6000 الأرخص، ويقولون إن المكسب يأتي من تحميل ذاكرة أقل، لأن العتاد الشائع لم يكن يستطيع بعد ضرب أرقام 16 بت في أرقام 4 بتات مباشرة.
AWQ: حماية 1 في المئة من الأوزان، تُختار بالنظر إلى التنشيطات
تبدأ ورقة AWQ، وأول مؤلفيها جي لين والمؤلف المراسل سونغ هان من MIT، من ملاحظة: ليست كل الأوزان متساوية الأهمية. فإبقاء نحو 1 في المئة فقط من الأوزان بـ16 بت يقلل كثيرا الضرر الناتج عن تقريب الباقي إلى دقة منخفضة.
أي 1 في المئة هو الاكتشاف. يستخدم جدولها الأول نموذج OPT-6.7B عند 3 بتات بمجموعات من 128 وزنا، مقيسا بحيرة WikiText، حيث يحصل النموذج بـ16 بت على 10.86 ويحصل التقريب إلى الأقرب على 23.54. وإبقاء 1 في المئة من الأوزان بـ16 بت، تُختار بحسب حجم التنشيطات التي تغذيها، يعطي 11.39. واختيار الحصة نفسها بحسب حجم الأوزان ذاتها يعطي 22.37، والاختيار العشوائي يعطي 24.23. فالأوزان البارزة تُعرف من البيانات المتدفقة عبر النموذج، لا من الأوزان.
والتخزين المختلط بين 16 بت و4 بتات مُرهق للعتاد، فتكبّر AWQ القنوات البارزة قبل التقريب بدلا من ذلك، فتبلغ درجات مشابهة دون التقسيم. ويقرن المؤلفون ذلك بنظام الاستدلال TinyChat، ويذكرون تسريعا متوسطه 3.2 إلى 3.3 مرة قياسا إلى شيفرة Hugging Face بـ16 بت على بطاقات رسوميات المكاتب والحواسيب المحمولة والهواتف. ويذكرون Llama-2-70B على Jetson Orin واحد بسعة 64 غيغابايت، ونموذجا من 13 مليار معلمة بسرعة 30 رمزا في الثانية على RTX 4070 محمول بسعة 8 غيغابايت. هذه قياسات المؤلفين. وتذكر مراجعة الورقة لعام 2026 جائزة أفضل ورقة في MLSys 2024.
LoRA وQLoRA: ضبط نموذج مجمد بأربع بتات
الضبط الدقيق يعيد تدريب النموذج على بيانات جديدة، وهو يكلف ذاكرة أكبر بكثير من تشغيله. وLoRA، من إدوارد هو وزملائه في Microsoft في يونيو 2021، جمّدت الأوزان المدربة مسبقا ودربت مصفوفات صغيرة مضافة بدلا منها. وفي GPT-3 175B يذكر المؤلفون معلمات قابلة للتدريب أقل 10000 مرة، وذاكرة GPU أقل 3 مرات من الضبط الدقيق بمحسّن Adam، مع جودة مساوية أو أفضل في النماذج التي اختبروها ودون تأخير مضاف عند تشغيل النموذج.
وجمعت QLoRA الفكرتين. فهي تبقي النموذج المدرب مسبقا مجمدا بـ4 بتات وتمرر التدرجات عبره إلى مهايئات LoRA. وتضيف الورقة ثلاثة عناصر. فصيغة NormalFloat 4، أو NF4، توزع القيم الـ16 المتاحة بما يطابق شكل الجرس في الأوزان المدربة، فتغطي كل قيمة عددا متقاربا من الأوزان. والتكميم المزدوج يقرب كذلك ثوابت التحجيم، موفرا نحو 0.37 بت لكل معلمة، أي نحو 3 غيغابايت لنموذج من 65 مليار معلمة. والمحسّنات المقسّمة إلى صفحات تنقل حالة التدريب إلى ذاكرة المعالج المركزي حين تضيق ذاكرة GPU.
ويذكر المؤلفون أن هذا يخفض ضبط نموذج من 65 مليار معلمة من أكثر من 780 غيغابايت إلى أقل من 48 غيغابايت، دون خسارة قياسا إلى الضبط بـ16 بت في المهام التي اختبروها. وأصدروا نماذج تسمى Guanaco. وتعطي الورقة Guanaco 65B بحجم 41 غيغابايت وGuanaco 7B بحجم 5 غيغابايت، وتقول إنه يتسع في الهواتف الحديثة.
الصيغ المستخدمة اليوم
تسرد صفحة النظرة العامة في Hugging Face، المقروءة في 12 نوفمبر 2026، 22 طريقة تكميم في جدول التوافق. ويضم الجدول AWQ بـ4 بتات، وbitsandbytes (المكتبة التي تحيل إليها ورقة QLoRA) بـ4 و8، وNVFP4 بـ4 وطريقتي FP8 بـ8، إضافة إلى GGUF لـllama.cpp وGPT-QModel، وهي عُدّة يذكر ملف README الخاص بها GPTQ بين صيغها.
GGUF هي صيغة الملف التي يستخدمها llama.cpp، وهو برنامج لتشغيل النماذج على الحواسيب العادية. وتصف مواصفتها ملفا واحدا يحمل الأوزان وكل ما يلزم لتحميلها. ويقول README في llama.cpp إن التكميم يصغّر النموذج وقد يسرّعه، وقد يكلف دقة تُقاس عادة بالحيرة أو بتباعد KL، وإن الخسارة يمكن تقليلها بمصفوفة الأهمية، وهي ملف بيانات يُستخدم لتحديد الأوزان الأهم.
وFP8 تُبقي ثماني بتات لكنها تنفقها عددا عائما صغيرا. فقد اقترحت ورقة عام 2022 لباوليوس ميكيفيتشيوس و14 مؤلفا مشاركا تخطيطين هما E4M3 وE5M2، وذكرت مطابقة جودة 16 بت في تجارب تدريب حتى 175 مليار معلمة. وتصف مقالة NVIDIA عن NVFP4 في 24 يونيو 2025 صيغة بأربع بتات تخفض الذاكرة بنحو 3.5 مرة قياسا إلى 16 بت، وتذكر خسارة دقة بنسبة 1 في المئة أو أقل قياسا إلى FP8 على DeepSeek-R1-0528 في سبعة تقييمات. وهذا الرقم اختبار NVIDIA لصيغتها هي.
على ماذا يقوم كل ادعاء
كل نتيجة أعلاه خاصة بنموذج مسمى واختبار مسمى. فأرقام GPTQ هي الحيرة على OPT وBLOOM، وجداول AWQ تستخدم OPT وLlama-2، ورقم NVFP4 لنموذج واحد. والحيرة تقيس مدى جودة تنبؤ النموذج بالنص، وليست هي نفسها مدى نفعه للمستخدم. وREADME في llama.cpp نفسه يقول إن النموذج المكمَّم قد يفقد دقة.
أكثر أرقام QLoRA اقتباسا هو 99.3 في المئة. وهو درجة Guanaco 65B قياسا إلى ChatGPT في اختبار Vicuna، وهو اختبار من 80 سؤالا يعمل فيه GPT-4 حكما ويقيّم الإجابتين، بفاصل ثقة 95 في المئة قدره زائد أو ناقص 4.4 نقطة في جدول الورقة. ويقول المؤلفون إن الفواصل واسعة جدا عبر الجدول وإن كثيرا من النماذج تتداخل، ويستنتجون أن اختبارات روبوتات المحادثة الحالية غير موثوقة لقياس أدائها. وتتناول المقالة عن اختبارات الذكاء الاصطناعي هذه المشكلة. وكيف صُنعت النماذج التي تُضغط يرد في الشرح عن تدريب نموذج لغوي كبير.
نماذج صغيرة للأجهزة الهندية
تقول مقالة Sarvam AI في 14 فبراير 2026 التي تعلن Sarvam Edge إن نماذجها مصممة للعمل على الأجهزة التي يملكها الناس أصلا. وهي تسرد نموذج ترجمة بنحو 150 مليون معلمة ونحو 334 ميغابايت على الجهاز، يغطي 10 لغات هندية والإنجليزية، ولا تقول أي صيغة تكميم يستخدم، إن كان يستخدم شيئا منها. وصورة الهواتف في النظرة إلى النماذج الصغيرة على الهواتف، والدفع الأوسع في المقالة عن الذكاء الاصطناعي بلغات الهند نفسها.
المصادر وقراءات إضافية
- Dettmers, Lewis, Belkada and Zettlemoyer: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (arXiv:2208.07339, NeurIPS 2022)
- Frantar, Ashkboos, Hoefler and Alistarh: GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv:2210.17323, ICLR 2023)
- Lin et al.: AWQ, Activation-aware Weight Quantization for LLM Compression and Acceleration (arXiv:2306.00978, MLSys 2024)
- Dettmers, Pagnoni, Holtzman and Zettlemoyer: QLoRA, Efficient Finetuning of Quantized LLMs (arXiv:2305.14314, 23 May 2023)
- Hu et al.: LoRA, Low-Rank Adaptation of Large Language Models (arXiv:2106.09685, 17 June 2021)
- Micikevicius et al.: FP8 Formats for Deep Learning (arXiv:2209.05433, 12 September 2022)
- Hugging Face: Transformers documentation, Quantization overview
- ggml-org: llama.cpp quantize tool README
- ggml-org: GGUF file format specification
- NVIDIA Technical Blog: Introducing NVFP4 for Efficient and Accurate Low-Precision Inference (24 June 2025)
- Sarvam AI: Announcing Sarvam Edge (14 February 2026)
أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.
أعجبك المقال؟ احصل على التالي.
مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.