Квантование

Языковая модель — это миллиарды чисел, называемых весами. При обучении их обычно хранят в 16- или 32-битном формате с плавающей запятой. Квантование округляет их до более грубой сетки, например 8- или 4-битных целых, подобно тому как фото, сохранённое с меньшим числом цветов, занимает меньше места. Если сократить число бит вдвое, нужная память тоже уменьшится примерно вдвое, а от этого зависит, поместится ли модель на одну видеокарту, ноутбук или телефон. Чем меньше данных приходится передавать, тем обычно быстрее и генерация, поскольку значительная часть времени уходит на чтение весов из памяти.

Методы различаются. Квантование после обучения преобразует готовую модель по схемам вроде GPTQ и AWQ или в форматы GGUF, которые используют программы для локального запуска. При обучении с учётом квантования округление встроено в сам процесс, и потери меньше. Некоторые схемы оставляют чувствительные слои с более высокой точностью. На 8 битах разницу обычно трудно заметить. На 4 битах большинство моделей остаются полезными, но могут спотыкаться на математике, длинных рассуждениях, редких языках и точном коде. Ниже качество быстро падает.

Квантование — один из способов снизить стоимость запуска модели; другие — дистилляция, при которой обучают меньшую модель, и смесь экспертов, при которой работает лишь часть модели. Квантованная более крупная модель часто превосходит неквантованную меньшую с файлом того же размера, поэтому на квантовании и держится локальный запуск моделей. Обозначения не всегда понятны, так что провайдер, который публикует точность своих моделей, даёт тебе основу для сравнения. Практические проверки просты: задай один и тот же трудный вопрос двум версиям, сравни длинные ответы построчно и следи за повторами фраз, сломанным синтаксисом и арифметическими ошибками. Рост перплексии — меры того, насколько текст «удивляет» модель, — после квантования заранее сигнализирует, что качество просело, ещё до того, как это заметит человек.

Каталог NeverNo не указывает числовую точность, с которой работает модель, так что судить о ней приходится по результатам, а не по ярлыку. Для каждой модели он перечисляет провайдера, тариф, приватная она или анонимная, длину контекста, читает ли она изображения и рассуждает ли.

Приватные модели — это модели с открытыми весами, а у таких моделей квантованные версии обычны и открыто распространяются. Qwen 3.5 35B — бесплатная приватная модель от Alibaba с контекстом 128 000 токенов, которая читает изображения и позволяет выбрать, рассуждать ли ей. «Приватная» значит, что её обслуживают провайдеры, выбранные за то, что они не хранят запросы, и страница прозрачности прямо говорит, что NeverNo не может проверить их серверы.