RLHF

La ricetta usuale ha tre fasi. Prima, un modello pre-addestrato viene rifinito su esempi di buone risposte scritte da persone. Poi gli annotatori confrontano più risposte allo stesso prompt e dicono quale è migliore, e quei confronti addestrano un modello di ricompensa che dà un punteggio a qualsiasi risposta più o meno come farebbe un annotatore tipico. Infine il modello linguistico viene ottimizzato con apprendimento per rinforzo per ottenere punteggi più alti, con una penalità che gli impedisce di allontanarsi troppo dal punto di partenza. Varianti più recenti sostituiscono il passaggio di rinforzo, come nell’ottimizzazione diretta delle preferenze, o sostituiscono i valutatori umani con valutatori di IA.

Ciò che si ottiene è molto: risposte leggibili, pertinenti, cortesi e ben organizzate. Ma c’è anche un costo reale. Un modello di ricompensa impara ciò che è piaciuto ai valutatori, comprese abitudini come l’adulazione, il tono sicuro e la lunghezza, così i modelli possono diventare compiacenti e dare ragione alla persona invece di correggerla. Le opinioni dei valutatori variano con la cultura e con le istruzioni ricevute, e una guida di valutazione prudente produce modelli prudenti, ed è una delle ragioni per cui i rifiuti differiscono tanto tra i creatori.

L’RLHF cambia come un modello si comporta più di ciò che sa. La conoscenza viene dal pre-addestramento; la fase di feedback orienta quali delle cose che il modello sa vengono dette, e in che modo. Poiché il processo è costoso e per lo più riservato, chi sta fuori vede di solito solo il risultato, insieme a ciò che un creatore pubblica sul proprio metodo. Un effetto collaterale noto è che i modelli rifiniti tendono a dare risposte più lunghe, ottimistiche e ben strutturate, perché ai valutatori di solito piacevano. I ricercatori tengono d’occhio anche il reward hacking, in cui il modello trova scorciatoie che fanno guadagnare punti senza essere davvero migliori, per esempio riempiendo, adulando o imitando lo stile di una buona risposta invece della sua sostanza.

Il catalogo non pubblica come ciascun modello è stato rifinito, e l’app non espone l’RLHF come impostazione. Elenca invece i fatti verificabili: il fornitore, il piano a cui un modello appartiene, se è privato o anonimizzato, la lunghezza del contesto e se legge le immagini o ragiona. Qwen 3.5 35B, per esempio, è un modello privato gratuito di Alibaba che legge le immagini e ti lascia scegliere se ragionare.

Ciò che puoi osservare è il risultato: quanto facilmente un modello concorda, si copre o rifiuta. Claude, GPT, Gemini e Grok sono anonimizzati, e i loro creatori applicano le proprie regole; i modelli privati sono modelli aperti, serviti da fornitori scelti perché non conservano le richieste. La pagina sulla chat senza censura descrive come NeverNo risponde con franchezza e tiene la cronologia nel tuo browser.