Quantification

Un modèle de langage, ce sont des milliards de nombres appelés poids. À l’entraînement, ils sont en général gardés en virgule flottante sur 16 ou 32 bits. La quantification les arrondit sur une grille plus grossière, comme des entiers de 8 ou 4 bits, à la manière d’une photo enregistrée avec moins de couleurs qui pèse moins lourd. Diviser les bits par deux divise à peu près la mémoire nécessaire par deux, ce qui décide si un modèle tient sur une carte graphique, un portable ou un téléphone. Moins de données à déplacer accélère aussi la génération, puisqu’une grande part du temps sert à lire les poids en mémoire.

Les méthodes varient. La quantification après entraînement convertit un modèle terminé, avec des schémas comme GPTQ, AWQ ou les formats GGUF des moteurs locaux. L’entraînement tenant compte de la quantification intègre l’arrondi à l’apprentissage et perd moins. Certains schémas gardent les couches sensibles en plus haute précision. À 8 bits, la différence est en général difficile à remarquer. À 4 bits, la plupart des modèles restent utiles mais peuvent faiblir en calcul, en raisonnement long, dans les langues plus rares ou en code exact. En dessous, la qualité chute vite.

La quantification est l’un des moyens de réduire le coût d’exécution d’un modèle ; la distillation, qui entraîne un modèle plus petit, et le mélange d’experts, qui n’active qu’une partie du modèle, en sont d’autres. Un grand modèle quantifié bat souvent un petit modèle en pleine précision de même taille de fichier, ce qui explique que l’exécution locale s’appuie dessus. Les étiquettes ne sont pas toujours claires : un fournisseur qui publie la précision servie te donne de quoi comparer. Les tests pratiques sont faciles à faire : pose la même question exigeante à deux versions, compare les longues sorties ligne à ligne et guette les phrases répétées, la syntaxe cassée ou les erreurs de calcul. Une mesure comme la perplexité indique à quel point un modèle est surpris par un texte, et sa hausse après quantification est un signal d’alerte précoce qu’une dégradation s’est produite, avant même qu’une personne la remarque.

Le catalogue de NeverNo n’indique pas la précision numérique à laquelle un modèle est servi : tu la juges donc sur les résultats plutôt que sur une étiquette. Il indique en revanche, pour chaque modèle, le fournisseur, l’offre, s’il est privé ou anonymisé, la longueur de contexte et s’il lit les images ou raisonne.

Les modèles à poids ouverts, dont font partie les modèles privés, forment la famille où les versions quantifiées sont courantes et partagées ouvertement. Qwen 3.5 35B est un modèle privé et gratuit d’Alibaba, avec 128 000 jetons de contexte, qui lit les images et te laisse choisir s’il raisonne. Privé signifie qu’il est servi par des fournisseurs choisis parce qu’ils ne conservent pas les requêtes, et la page de transparence précise que NeverNo ne peut pas inspecter leurs serveurs.