Mixture of experts (miscela di esperti)

In un modello denso ogni peso partecipa a ogni token. In un modello a miscela di esperti i blocchi feed-forward sono sostituiti da un insieme di esperti, diciamo decine o centinaia, e un piccolo router appreso ne sceglie alcuni per ogni token a ogni strato. Gli esperti non diventano specialisti ordinati come un avvocato o un chimico; tendono a specializzarsi in schemi di token, e il router impara la suddivisione durante l’addestramento. Le dimensioni pubblicate si danno perciò due volte: parametri totali e parametri attivi usati per token.

Il vantaggio è una qualità vicina a quella di un modello denso molto più grande, a una frazione del calcolo per token, quindi la generazione può essere rapida ed economica. Anche i costi sono reali. Tutti gli esperti devono comunque stare in memoria, quindi la memoria necessaria segue il conteggio totale, non quello attivo. Il routing deve restare bilanciato perché alcuni esperti non siano sovraccarichi mentre altri restano fermi, e addestramento e servizio sono più complessi. Anche la messa a punto può essere più insidiosa, e la quantizzazione accompagna spesso questi modelli per farli stare in memoria.

Una cifra come 35B o 400B non dice quanto calcolo usa una risposta. Per un modello a miscela di esperti chiedi entrambi i numeri: i parametri attivi suggeriscono velocità e costo, mentre i parametri totali suggeriscono capacità di conoscenza e memoria. Molti modelli recenti a pesi aperti e alcuni chiusi sono costruiti così, anche se i creatori non sempre lo dicono. I tecnici parlano anche di perdite di bilanciamento del carico, limiti di capacità ed esperti condivisi che ogni token attraversa, che servono tutti a mantenere stabile il routing. In un modello aperto queste scelte di progetto sono scritte nel rapporto tecnico e nel file di configurazione, che elencano il numero di esperti, quanti se ne scelgono per token e la dimensione di ciascuno.

Il catalogo di NeverNo non dice quali modelli siano miscele di esperti, quindi per un dato modello consulta la documentazione del creatore. Ciò che il catalogo indica è pratico: il fornitore, il piano, se il modello è privato o anonimizzato, la lunghezza del contesto e se legge le immagini o ragiona.

I modelli privati vengono da famiglie a pesi aperti come DeepSeek, GLM, Qwen e Mistral. Qwen 3.5 35B è uno gratuito di Alibaba, con 128.000 token di contesto, che legge le immagini e ti lascia scegliere se ragionare. Privato significa che è servito da fornitori scelti perché non conservano le richieste, e la pagina di trasparenza dice chiaramente che NeverNo non può ispezionare i loro server.