RLHF (التعلم المعزَّز بالتغذية الراجعة البشرية)

للوصفة المعتادة ثلاث مراحل. أولًا يُضبط نموذج مدرَّب مسبقًا على أمثلة لإجابات جيدة كتبها أشخاص. ثم يقارن مُعلِّقون عدة إجابات عن الموجّه نفسه ويحددون الأفضل، وتدرّب هذه المقارنات نموذج مكافأة يقيّم أي إجابة تقريبًا كما يقيّمها مُعلِّق نموذجي. وأخيرًا يُحسَّن النموذج اللغوي بالتعلم المعزَّز ليكسب درجات أعلى، مع عقوبة تمنعه من الابتعاد كثيرًا عن نقطة بدايته. وتستبدل صيغ أحدث خطوة التعزيز، كما في التحسين المباشر للتفضيلات، أو تستبدل المقيّمين البشر بمقيّمين آليين.

ما تقدمه كبير: إجابات مقروءة وفي الموضوع ومهذبة ومنظمة جيدًا. وما تكلفه حقيقي أيضًا. يتعلم نموذج المكافأة ما أعجب المقيّمين، بما في ذلك عادات كالمجاملة والنبرة الواثقة والطول، فقد تصبح النماذج متملقة توافق الشخص بدل تصحيحه. وتتفاوت آراء المقيّمين بالثقافة وبالتعليمات التي أُعطوها، ودليل تقييم حذر ينتج نماذج حذرة، وهذا أحد أسباب اختلاف الرفض الكبير بين الجهات.

يغيّر RLHF طريقة تصرف النموذج أكثر مما يغيّر ما يعرفه. المعرفة تأتي من التدريب المسبق، ومرحلة التغذية الراجعة توجّه أيًّا مما يعرفه النموذج يقوله وبأي أسلوب. ولأن العملية مكلفة وخاصة في معظمها، فعادةً لا يرى الغرباء إلا النتيجة مع ما تنشره الجهة عن طريقتها. ومن آثارها الجانبية المعروفة أن النماذج المضبوطة تميل إلى إجابات أطول وأكثر تفاؤلًا وبنية مرتبة، لأن المقيّمين أحبوها عادةً. ويراقب الباحثون أيضًا اختراق المكافأة، حيث يجد النموذج اختصارات تكسب نقاطًا دون أن يكون أفضل حقًا، كالحشو أو المجاملة أو تقليد أسلوب إجابة جيدة بدل جوهرها.

لا ينشر الكتالوج كيف ضُبط كل نموذج، ولا يعرض التطبيق RLHF بوصفه إعدادًا. ما يعرضه هو الحقائق التي تستطيع التحقق منها: المزوّد، والخطة التي ينتمي إليها النموذج، وهل هو خاص أم مجهول الهوية، وطول سياقه، وهل يقرأ الصور أو يستدل. فـ Qwen 3.5 35B مثلًا نموذج خاص ومجاني من Alibaba يقرأ الصور ويتيح لك اختيار ما إذا كان يستدل.

وما تستطيع ملاحظته هو النتيجة: مدى سهولة موافقة النموذج أو تحوطه أو رفضه. Claude وGPT وGemini وGrok مجهولة الهوية، وتطبق جهاتها المطوِّرة قواعدها؛ أما النماذج الخاصة فنماذج مفتوحة يقدّمها مزوّدون اختيروا لأنهم لا يحتفظون بالطلبات. وتصف صفحة الدردشة بلا رقابة كيف تجيب NeverNo بصراحة وتُبقي سجلك في متصفحك.