مزيج الخبراء (Mixture of experts)

في النموذج الكثيف يشارك كل وزن في كل توكن. أما في نموذج مزيج الخبراء فتُستبدل كتل التغذية الأمامية بمجموعة من الخبراء، عشرات أو مئات، ويختار مُوزِّع صغير متعلَّم بعضها لكل توكن في كل طبقة. والخبراء لا يتحولون إلى متخصصين مرتبين كمحامٍ أو كيميائي؛ بل يميلون إلى التخصص في أنماط من التوكنات، ويتعلم المُوزِّع هذا التقسيم أثناء التدريب. لذلك تُعطى الأحجام المنشورة مرتين: المعاملات الكلية، والمعاملات النشطة المستخدمة لكل توكن.

الفائدة جودة قريبة من نموذج كثيف أكبر بكثير بجزء من الحوسبة لكل توكن، فيكون التوليد سريعًا ورخيصًا. والكلفة حقيقية أيضًا. فجميع الخبراء يجب أن تبقى في الذاكرة، فالذاكرة المطلوبة تتبع العدد الكلي لا النشط. ويجب أن يظل التوجيه متوازنًا كي لا يُثقل بعض الخبراء بينما يبقى غيرهم عاطلًا، والتدريب والتقديم أكثر تعقيدًا. وقد يكون الضبط الدقيق أصعب، وكثيرًا ما يرافق التكميم هذه النماذج لتتسع في الذاكرة.

لا تقرأ رقمًا مثل 35B أو 400B على أنه مقدار الحوسبة التي يستهلكها رد. في نموذج مزيج الخبراء اطلب الرقمين معًا: المعاملات النشطة توحي بالسرعة والكلفة، والمعاملات الكلية توحي بسعة المعرفة والذاكرة. وكثير من النماذج المفتوحة الأوزان الحديثة وبعض المغلقة مبنية هكذا، وإن لم تقل الجهات ذلك دائمًا. ويتحدث المهندسون أيضًا عن دوال خسارة موازنة الحمل وحدود السعة والخبراء المشتركين الذين يمر بهم كل توكن، وكلها لإبقاء التوجيه مستقرًا. وفي النموذج المفتوح تُكتب هذه الخيارات في التقرير التقني وملف الإعدادات، وتذكر عدد الخبراء وكم يُختار لكل توكن وحجم كل منهم.

لا يذكر كتالوج NeverNo أي النماذج مزيج خبراء، فراجع وثائق الجهة المطوِّرة لنموذج بعينه. ما يذكره الكتالوج عملي: المزوّد، والخطة، وهل النموذج خاص أم مجهول الهوية، وطول سياقه، وهل يقرأ الصور أو يستدل.

النماذج الخاصة تأتي من عائلات مفتوحة الأوزان مثل DeepSeek وGLM وQwen وMistral. وQwen 3.5 35B منها، مجاني من Alibaba بسياق 128,000 توكن، يقرأ الصور ويتيح لك اختيار ما إذا كان يستدل. ومعنى «خاص» أنه يقدّمه مزوّدون اختيروا لأنهم لا يحتفظون بالطلبات، وتقول صفحة الشفافية بوضوح إن NeverNo لا تستطيع فحص خوادمهم.