Дообучение (fine-tuning)

Предобучение большой языковой модели требует огромных объёмов данных и вычислений. Дообучение начинает с готового результата и требует лишь малой доли этих затрат. Модели дают примеры — вопросы с идеальными ответами, обращения в поддержку с верными ответами или тексты в определённой манере, — и её веса смещаются так, что такие результаты становятся вероятнее. Большинство ассистентов создано именно так: базовую модель дообучают на инструкциях, а затем нередко настраивают дальше на предпочтениях с помощью RLHF.

Полное дообучение обновляет каждый вес и требует серьёзного оборудования. Более дешёвые подходы обновляют лишь небольшую надстройку, как это делает LoRA, или обучают квантованную копию модели. Качество данных важнее их количества: несколько тысяч чистых, согласованных примеров часто лучше беспорядочного миллиона. Риски — забывание, когда модель теряет общие навыки, переобучение, когда она заучивает свои примеры, и унаследованные недостатки, потому что ошибки и предвзятость в данных становятся поведением.

Стоит спросить себя, нужно ли оно вообще. Ясный системный промпт, несколько примеров в запросе или поиск по документам (RAG) нередко решают задачу без всякого обучения. Дообучение окупается, когда нужен единый формат или тон на больших объёмах, более короткий промпт ради скорости или поведение, которого одними словами не добиться. Модели с открытыми весами может дообучить любой, у кого есть веса; закрытые — только через сервис самого разработчика. С этим связан обычай делиться вариантами: поскольку дообученные версии базовой модели сохраняют её архитектуру, сообщества публикуют множество таких версий для программирования, рассказов, перевода или специальной лексики и сравнивают их в публичных рейтингах. Карточка базовой модели, использованные данные и лицензия скажут, что изменилось и что ты вправе делать с результатом.

NeverNo не предлагает способа дообучить модель, а в каталоге не указано, как настраивалась каждая модель. Зато поведение можно корректировать на уровне промпта — инструкциями, которые ты пишешь: они меняют то, что читает модель, и не затрагивают её веса.

Модели с открытыми весами — как раз те, что другие дообучают и публикуют заново, и приватные модели каталога именно такие. Qwen 3.5 35B, бесплатная приватная модель от Alibaba, которая читает изображения и позволяет выбрать, рассуждать ли ей, — одна из них. «Приватная» значит, что её обслуживают провайдеры, выбранные за то, что они не хранят запросы; страница прозрачности прямо говорит, что NeverNo не может проверить их серверы.