Token

Prima che il modello veda il tuo messaggio, un tokenizzatore lo divide in pezzi presi da un vocabolario fisso di decine di migliaia di voci. Le parole comuni di solito sono un solo token, quelle rare vengono spezzate in più parti, e un termine tecnico lungo o un nome possono richiederne quattro o cinque. Una parola come «incredibile» potrebbe diventare «in», «credi» e «bile», mentre «il» resta un solo token. Anche maiuscole, accenti, tabulazioni e spazi finali cambiano la suddivisione. Ogni token viene poi trasformato in un elenco di numeri, che è ciò che la rete neurale elabora davvero.

La suddivisione dipende dalla lingua e dal tokenizzatore di ciascun modello. Un testo inglese usa in genere meno token per parola di un testo in lingue con forme più ricche o altri sistemi di scrittura, quindi la stessa frase può costare di più in giapponese o in arabo. Anche codice, numeri lunghi, emoji e indirizzi web si frantumano in molti pezzetti. Le famiglie di modelli usano tokenizzatori diversi, perciò il conteggio fatto con lo strumento di un fornitore è solo una stima per un altro.

I token contano per tre ragioni pratiche. Misurano la lunghezza: un modello ha un limite ai token che gestisce in una volta e a quelli che scrive in una risposta. Misurano il costo: i fornitori di solito fatturano separatamente i token letti (ingresso) e quelli scritti (uscita). Fatturazione, latenza, troncamento e limiti di frequenza derivano tutti dallo stesso conteggio, che si tratti del riassunto di una riunione, di una clausola di un contratto d’affitto, della correzione di una regex o della traduzione di un menu. E spiegano comportamenti strani: un modello che lavora su token e non su lettere può inciampare in giochi come contare quante volte compare la «r» in «strawberry», o rovesciare una stringa lunga. Gli algoritmi di tokenizzazione come la codifica a coppie di byte partono da singoli byte e fondono ripetutamente le coppie vicine più frequenti, finché emerge un vocabolario della dimensione voluta: ecco perché le sillabe comuni diventano voci singole, mentre le stringhe rare restano frammentate.

Su NeverNo i token compaiono nei limiti indicati per ogni modello. DeepSeek V4 Flash, un modello privato gratuito, ha una finestra di contesto di 128.000 token e può scrivere fino a 8.192 token in una risposta: spazio per un documento lungo e una risposta lunga nella stessa conversazione. Altri modelli hanno più o meno margine, e la pagina di ciascuno riporta le proprie cifre.

Nell’API l’utilizzo è riportato in token e il parametro max_tokens (o max_completion_tokens) limita la lunghezza di una risposta. Anche l’endpoint degli embedding, che trasforma il testo in vettori per la ricerca, lavora sui token. La pagina sull’alternativa a ChatGPT spiega come passare da un altro assistente e tenere la cronologia nel tuo browser.