Token

Antes de que el modelo vea tu mensaje, un tokenizador lo separa en trozos tomados de un vocabulario fijo de varias decenas de miles de entradas. Una palabra común suele caber en un solo token, una palabra rara se parte en varios, y un término técnico o un nombre propio puede necesitar cuatro o cinco. Así, «increíble» puede convertirse en «in», «cre» e «íble», mientras que «el» permanece entero; las mayúsculas, los acentos, los tabuladores y los espacios finales también cambian la división. Cada token se convierte después en una lista de números, que es lo que la red neuronal procesa realmente.

La división depende del idioma y del tokenizador de cada modelo. Un texto en inglés suele consumir menos tokens por palabra que un texto con formas más variadas o de otra escritura: la misma frase puede costar más en japonés o en árabe que en inglés. El código, los números largos, los emojis y las direcciones web también se rompen en trozos pequeños. Los tokenizadores varían de una familia de modelos a otra: el recuento hecho con el tokenizador de un fabricante es solo una estimación para otro.

Los tokens importan por tres razones prácticas. Miden la longitud: un modelo solo puede procesar cierto número de tokens a la vez y escribir cierto número por respuesta. Miden el coste: los proveedores suelen facturar por separado los tokens leídos (entrada) y escritos (salida). Facturación, latencia, truncamiento y topes de caudal salen del mismo recuento, ya resumas una reunión, redactes una cláusula de alquiler, corrijas una expresión regular o traduzcas un menú. Y explican comportamientos raros: un modelo que trabaja con tokens y no con letras puede tropezar con acertijos como el número de «r» en «strawberry», o la inversión de una cadena larga. Los algoritmos de tokenización como la codificación por pares de bytes parten de bytes aislados y fusionan una y otra vez los pares vecinos más frecuentes hasta obtener el vocabulario deseado: las sílabas comunes se convierten en entradas únicas, y las secuencias raras permanecen fragmentadas.

En NeverNo, los tokens aparecen en los límites que se muestran para cada modelo. DeepSeek V4 Flash, un modelo privado gratuito, tiene una ventana de contexto de 128 000 tokens y puede escribir hasta 8 192 tokens por respuesta: espacio para que quepan un documento largo y una respuesta larga en la misma conversación. Otros modelos ofrecen más o menos espacio, y cada página de modelo da sus propias cifras.

En la API, el consumo se informa en tokens, y el parámetro max_tokens (o max_completion_tokens) limita la longitud de una respuesta. El punto de acceso de embeddings, que convierte texto en vectores para la búsqueda, también cuenta en tokens. La página sobre la alternativa a ChatGPT explica cómo cambiar de asistente conservando tu historial en tu navegador.