Токен

Прежде чем модель увидит твоё сообщение, токенизатор режет его на кусочки из фиксированного словаря в десятки тысяч позиций. Частые слова обычно занимают один токен, редкие распадаются на несколько, а длинный технический термин или имя могут занять четыре-пять. Слово вроде «unbelievable» может распасться на «un», «believ» и «able», а «the» останется целым. Заглавные буквы, диакритика, табуляции и пробелы в конце тоже меняют разбиение. Затем каждый токен превращается в набор чисел, и именно с ним работает нейросеть.

Разбиение зависит от языка и от токенизатора конкретной модели. Английский текст обычно требует меньше токенов на слово, чем текст на языках с богатой морфологией или другой системой письма, так что одна и та же фраза по-японски или по-арабски может стоить дороже. Программный код, длинные числа, эмодзи и адреса сайтов тоже дробятся на множество мелких частей. Токенизаторы у семейств моделей разные, поэтому подсчёт одного сервиса для другой модели остаётся лишь оценкой.

Токены важны по трём практическим причинам. Они измеряют длину: у модели есть предел того, сколько токенов она обрабатывает за раз и сколько может написать в одном ответе. Они измеряют стоимость: провайдеры обычно отдельно берут плату за прочитанные токены (вход) и написанные (выход). Из того же подсчёта вытекают и оплата, и задержка, и обрезка текста, и лимиты запросов, будь то пересказ совещания, пункт договора аренды, исправление регулярного выражения или перевод меню. И они объясняют странности: модель, работающая с токенами, а не с буквами, может споткнуться на задачах вроде подсчёта букв «r» в слове «strawberry» или переворота длинной строки. Алгоритмы токенизации вроде кодирования пар байтов (BPE) начинают с отдельных байтов и многократно сливают самые частые соседние пары, пока не получится словарь нужного размера; поэтому частые слоги становятся отдельными позициями, а редкие строки остаются раздробленными.

В NeverNo токены видны в лимитах каждой модели. У DeepSeek V4 Flash, бесплатной приватной модели, окно контекста составляет 128 000 токенов, а один ответ может занять до 8 192 токенов: хватит и на длинный документ, и на длинный ответ в одном чате. У других моделей запас больше или меньше, и их цифры указаны на их страницах.

В API расход указывается в токенах, а параметр max_tokens (или max_completion_tokens) ограничивает длину ответа. Конечная точка эмбеддингов, которая превращает текст в векторы для поиска, тоже считает токены. Страница об альтернативе ChatGPT объясняет, как перейти с другого ассистента и хранить историю в своём браузере.