Quantizzazione

Un modello linguistico è fatto di miliardi di numeri chiamati pesi. Nell’addestramento sono di solito tenuti in virgola mobile a 16 o 32 bit. La quantizzazione li arrotonda su una griglia più grossolana, come interi a 8 o 4 bit, un po’ come una foto salvata con meno colori occupa meno spazio. Dimezzare i bit dimezza grosso modo la memoria necessaria, e questo decide se un modello sta su una scheda grafica, un portatile o un telefono. Meno dati da spostare tende anche ad accelerare la generazione, dato che gran parte del tempo se ne va nel leggere i pesi dalla memoria.

I metodi differiscono. La quantizzazione dopo l’addestramento converte un modello finito, con schemi come GPTQ, AWQ o i formati GGUF usati dai programmi locali. L’addestramento consapevole della quantizzazione inserisce l’arrotondamento nell’addestramento e perde meno. Alcuni schemi tengono a precisione più alta gli strati sensibili. A 8 bit la differenza di solito è difficile da notare. A 4 bit la maggior parte dei modelli resta utile ma può scivolare su matematica, ragionamenti lunghi, lingue più rare o codice esatto. Sotto questa soglia la qualità cala in fretta.

La quantizzazione è uno dei modi per ridurre il costo di far girare un modello; la distillazione, che addestra un modello più piccolo, e la miscela di esperti, che attiva solo una parte del modello, sono altri. Un modello più grande quantizzato spesso batte uno più piccolo a piena precisione con lo stesso peso del file, e per questo l’esecuzione in locale ne fa largo uso. Le etichette non sono sempre chiare, quindi un fornitore che pubblica la precisione con cui serve ti dà qualcosa da confrontare. I test pratici sono facili da fare: poni la stessa domanda impegnativa a due versioni, confronta riga per riga le uscite lunghe e osserva frasi ripetute, sintassi rotta o errori di calcolo. Una metrica come la perplessità misura quanto il modello è sorpreso da un testo: se sale dopo la quantizzazione, è un primo segnale di degrado, prima ancora che una persona se ne accorga.

Il catalogo di NeverNo non indica la precisione numerica con cui un modello è servito, quindi la giudichi dai risultati e non da un’etichetta. Per ogni modello elenca invece il fornitore, il piano, se è privato o anonimizzato, la lunghezza del contesto e se legge le immagini o ragiona.

I modelli a pesi aperti, cioè quelli privati, sono la famiglia in cui le versioni quantizzate sono comuni e condivise apertamente. Qwen 3.5 35B è un modello privato gratuito di Alibaba, con 128.000 token di contesto, che legge le immagini e ti lascia scegliere se ragionare. Privato significa che è servito da fornitori scelti perché non conservano le richieste, e la pagina di trasparenza dice chiaramente che NeverNo non può ispezionare i loro server.