Quantização

Um modelo de linguagem são bilhões de números chamados pesos. No treinamento, eles costumam ficar em ponto flutuante de 16 ou 32 bits. A quantização os arredonda para uma grade mais grossa, como inteiros de 8 ou 4 bits, do mesmo jeito que uma foto salva com menos cores ocupa menos espaço. Cortar os bits pela metade corta mais ou menos pela metade a memória necessária, e isso decide se um modelo cabe em uma placa de vídeo, em um notebook ou em um celular. Mover menos dados também acelera a geração, porque boa parte do tempo vai para ler pesos da memória.

Os métodos variam. A quantização pós-treinamento converte um modelo pronto, com esquemas como GPTQ, AWQ ou os formatos GGUF dos motores locais. O treinamento ciente da quantização embute o arredondamento no aprendizado e perde menos. Alguns esquemas mantêm as camadas sensíveis com mais precisão. Em 8 bits, a diferença costuma ser difícil de notar. Em 4 bits, a maioria dos modelos continua útil, mas pode falhar em matemática, raciocínio longo, idiomas mais raros ou código exato. Abaixo disso, a qualidade cai rápido.

A quantização é uma das formas de reduzir o custo de rodar um modelo; a destilação, que treina um modelo menor, e a mistura de especialistas, que ativa só parte do modelo, são outras. Um modelo grande quantizado costuma superar um menor em precisão total com o mesmo tamanho de arquivo, e por isso a execução local se apoia nela. Os rótulos nem sempre são claros, então um provedor que publica a precisão com que serve dá a você algo para comparar. Os testes práticos são fáceis: faça a mesma pergunta exigente a duas versões, compare as saídas longas linha a linha e observe frases repetidas, sintaxe quebrada ou erros de aritmética. Uma medida como a perplexidade indica o quanto o modelo se surpreende com um texto, e o aumento depois da quantização é um alerta precoce de que algo se degradou, mesmo antes de uma pessoa notar.

O catálogo do NeverNo não informa a precisão numérica com que um modelo é servido, então você a avalia pelos resultados, não por um rótulo. O que ele informa de cada modelo é o provedor, o plano, se é privado ou anonimizado, o tamanho do contexto e se lê imagens ou raciocina.

Os modelos de pesos abertos, que é o que os privados são, formam a família em que as versões quantizadas são comuns e compartilhadas abertamente. O Qwen 3.5 35B é um modelo privado e gratuito da Alibaba, com 128.000 tokens de contexto, que lê imagens e deixa você escolher se ele raciocina. Privado significa que ele é servido por provedores escolhidos porque não guardam os pedidos, e a página de transparência diz claramente que o NeverNo não consegue inspecionar os servidores deles.