Mixture of experts (смесь экспертов)

В плотной модели каждый вес участвует в обработке каждого токена. В модели со смесью экспертов блоки прямого распространения заменены набором из десятков или сотен экспертов, а небольшой обученный маршрутизатор выбирает несколько из них для каждого токена на каждом слое. Эксперты не превращаются в аккуратных специалистов вроде юриста или химика; они склонны специализироваться на шаблонах токенов, а разделение маршрутизатор выучивает при обучении. Поэтому опубликованные размеры называют дважды: общее число параметров и число активных параметров на токен.

Выгода в том, что качество близко к гораздо более крупной плотной модели, а вычислений на токен нужно в разы меньше, так что генерация может быть быстрой и дешёвой. Цена тоже реальна. Все эксперты всё равно должны лежать в памяти, поэтому объём памяти зависит от общего числа параметров, а не от активного. Маршрутизация должна оставаться сбалансированной, чтобы одни эксперты не перегружались, пока другие простаивают, а обучение и запуск таких моделей сложнее. Дообучение тоже может оказаться сложнее, а квантование часто применяют вместе с такими моделями, чтобы они поместились в память.

Не принимай цифру вроде 35B или 400B за объём вычислений на ответ. Для модели со смесью экспертов спрашивай оба числа: активные параметры подсказывают скорость и стоимость, а общие — ёмкость знаний и память. Многие недавние модели с открытыми весами и некоторые закрытые построены так, хотя разработчики не всегда об этом сообщают. Инженеры говорят и о функциях потерь для балансировки нагрузки, ограничениях ёмкости и общих экспертах, через которых проходит каждый токен, — всё это нужно, чтобы маршрутизация оставалась устойчивой. В открытой модели эти проектные решения записаны в техническом отчёте и конфигурационном файле, где указаны число экспертов, сколько выбирается на токен и размер каждого.

В каталоге NeverNo не указано, какие модели построены как смесь экспертов, поэтому для конкретной модели смотри документацию разработчика. Зато там есть практические сведения: провайдера, тариф, приватная модель или анонимная, длину контекста, читает ли она изображения и рассуждает ли.

Приватные модели происходят из семейств с открытыми весами: DeepSeek, GLM, Qwen и Mistral. Qwen 3.5 35B — бесплатная модель от Alibaba с контекстом 128 000 токенов, которая читает изображения и позволяет выбрать, рассуждать ли ей. «Приватная» значит, что её обслуживают провайдеры, выбранные за то, что они не хранят запросы, и страница прозрачности прямо говорит, что NeverNo не может проверить их серверы.