Token

Antes de o modelo ver sua mensagem, um tokenizador a corta em pedaços tirados de um vocabulário fixo, com dezenas de milhares de entradas. Palavras comuns costumam ser um token só, palavras raras se dividem em vários, e um termo técnico longo ou um nome próprio pode render quatro ou cinco. Uma palavra como “inacreditável” pode virar “in”, “acre” e “ditável”, enquanto “o” fica inteiro. Maiúsculas, acentos, tabulações e espaços no fim também mudam a divisão. Cada token é então convertido em uma lista de números, e é isso que a rede neural realmente processa.

A divisão depende do idioma e do tokenizador de cada modelo. Um texto em inglês tende a gastar menos tokens por palavra do que textos em idiomas com mais formas de palavra ou outros sistemas de escrita, então a mesma frase pode custar mais em japonês ou em árabe do que em inglês. Código-fonte, números longos, emojis e endereços da web também se estilhaçam em muitos pedacinhos. Os tokenizadores variam entre famílias de modelos, de modo que a contagem feita na ferramenta de uma empresa é só uma estimativa para outra.

Os tokens importam por três motivos práticos. Medem o tamanho: um modelo tem um limite de quantos tokens consegue tratar de uma vez e de quantos pode escrever numa resposta. Medem o custo: os provedores costumam cobrar separadamente os tokens lidos (entrada) e os escritos (saída). Cobrança, latência, truncamento e limites de uso decorrem da mesma contagem, seja o trabalho um resumo de reunião, uma cláusula de aluguel, o conserto de uma regex ou a tradução de um cardápio. E explicam comportamentos estranhos: um modelo que trabalha com tokens em vez de letras pode tropeçar em desafios como contar quantos “r” há em “strawberry” ou inverter uma sequência longa. Algoritmos de tokenização como a codificação por pares de bytes partem de bytes isolados e fundem repetidamente os pares vizinhos mais frequentes até surgir um vocabulário do tamanho desejado, o que explica por que sílabas comuns viram entradas únicas enquanto sequências raras ficam fragmentadas.

No NeverNo, os tokens aparecem nos limites indicados para cada modelo. O DeepSeek V4 Flash, um modelo privado gratuito, tem janela de contexto de 128.000 tokens e pode escrever até 8.192 tokens numa resposta, espaço para um documento longo e uma resposta longa na mesma conversa. Outros modelos têm mais ou menos espaço, e cada página de modelo lista os próprios números.

Na API, o uso é informado em tokens, e o parâmetro max_tokens (ou max_completion_tokens) limita o tamanho de uma resposta. O endpoint de embeddings, que transforma texto em vetores para busca, também trabalha com tokens. A página da alternativa ao ChatGPT explica como migrar de outro assistente e manter seu histórico no navegador.