Cuantización

Un modelo de lenguaje son miles de millones de números llamados pesos. En el entrenamiento suelen guardarse en coma flotante de 16 o 32 bits. La cuantización los redondea a una cuadrícula más tosca, como enteros de 8 o 4 bits, igual que una foto guardada con menos colores ocupa menos. Reducir los bits a la mitad divide más o menos por dos la memoria necesaria, y eso decide si un modelo cabe en una tarjeta gráfica, un portátil o un teléfono. Mover menos datos también acelera la generación, porque buena parte del tiempo se va en leer pesos de la memoria.

Los métodos difieren. La cuantización posterior al entrenamiento convierte un modelo terminado, con esquemas como GPTQ, AWQ o los formatos GGUF de los motores locales. El entrenamiento consciente de la cuantización integra el redondeo en el aprendizaje y pierde menos. Algunos esquemas mantienen las capas sensibles con más precisión. Con 8 bits la diferencia suele ser difícil de notar. Con 4 bits la mayoría de los modelos siguen siendo útiles, pero pueden flaquear en matemáticas, razonamiento largo, idiomas menos frecuentes o código exacto. Por debajo, la calidad cae deprisa.

La cuantización es una de las formas de abaratar la ejecución de un modelo; la destilación, que entrena un modelo menor, y la mezcla de expertos, que activa solo una parte del modelo, son otras. Un modelo grande cuantizado suele superar a uno pequeño de precisión completa con el mismo tamaño de archivo, y por eso la ejecución local se apoya en ella. Las etiquetas no siempre son claras, así que un proveedor que publica la precisión que sirve te da con qué comparar. Las pruebas prácticas son fáciles: haz la misma pregunta exigente a dos versiones, compara las salidas largas línea a línea y atiende a frases repetidas, sintaxis rota o fallos de aritmética. Una medida como la perplejidad indica cuánto le sorprende un texto al modelo, y su aumento tras cuantizar es una alerta temprana de que algo se degradó, incluso antes de que una persona lo note.

El catálogo de NeverNo no indica con qué precisión numérica se sirve un modelo, así que la juzgas por los resultados y no por una etiqueta. Lo que sí indica de cada modelo es el proveedor, el plan, si es privado o anonimizado, la longitud de contexto y si lee imágenes o razona.

Los modelos de pesos abiertos, como los privados, son la familia donde las versiones cuantizadas abundan y se comparten abiertamente. Qwen 3.5 35B es un modelo privado y gratuito de Alibaba, con 128 000 tokens de contexto, que lee imágenes y te deja elegir si razona. Privado significa que lo sirven proveedores elegidos porque no conservan las solicitudes, y la página de transparencia dice con claridad que NeverNo no puede inspeccionar sus servidores.