RLHF

Обычный рецепт состоит из трёх этапов. Сначала предобученную модель дообучают на примерах хороших ответов, написанных людьми. Затем разметчики сравнивают несколько ответов на один запрос и говорят, какой лучше, и эти сравнения обучают модель вознаграждения, которая оценивает любой ответ примерно так, как оценил бы типичный разметчик. Наконец, языковую модель оптимизируют обучением с подкреплением, чтобы она получала более высокие оценки, а штраф не даёт ей слишком далеко уйти от исходной точки. Новые варианты заменяют шаг подкрепления, как в прямой оптимизации предпочтений (DPO), или ставят на место людей-оценщиков ИИ.

Выигрыш велик: ответы становятся читаемыми, вежливыми, хорошо организованными и не уходят от темы. Но и цена реальна. Модель вознаграждения учится тому, что нравилось оценщикам, включая привычки вроде лести, уверенного тона и длины, поэтому модели могут стать угодливыми и соглашаться с человеком вместо того, чтобы его поправлять. Мнения оценщиков зависят от культуры и полученных инструкций, а осторожное руководство по оценке даёт осторожные модели, и это одна из причин, почему отказы так различаются у разных разработчиков.

RLHF меняет скорее поведение модели, чем её знания. Знания идут из предобучения; этап обратной связи определяет, что из известного модель скажет и в какой манере. Поскольку процесс дорог и в основном закрыт, сторонние наблюдатели обычно видят лишь результат вместе с тем, что разработчик публикует о своём методе. Известный побочный эффект: настроенные модели склонны давать более длинные, бодрые ответы с аккуратной структурой, потому что оценщикам такие обычно нравились. Исследователи следят и за взломом вознаграждения, когда модель находит обходные пути, чтобы набрать баллы, не становясь по-настоящему лучше, например растягивая текст, льстя или имитируя стиль хорошего ответа вместо его сути.

Каталог не публикует, как настраивалась каждая модель, а приложение не выносит RLHF в настройки. Зато в каталоге указаны проверяемые факты: провайдера, тариф, к которому относится модель, приватная она или анонимная, длину контекста, читает ли она изображения и рассуждает ли. Qwen 3.5 35B, например, — бесплатная приватная модель от Alibaba, которая читает изображения и позволяет выбрать, рассуждать ли ей.

Наблюдать можно результат: как охотно модель соглашается, подстраховывается или отказывает. Claude, GPT, Gemini и Grok анонимизированы, и их разработчики применяют свои правила; приватные модели — открытые, их обслуживают провайдеры, выбранные за то, что они не хранят запросы. Страница о нейросети без цензуры описывает, как NeverNo отвечает прямо и хранит твою историю в браузере.