Allucinazione

Le allucinazioni nascono da come funzionano i modelli linguistici. Un modello impara a produrre testo statisticamente plausibile dato ciò che precede; non consulta fatti e non ha un senso incorporato di ciò che non sa. Quando la risposta manca dall’addestramento, o vi è rappresentata debolmente, la continuazione più plausibile resta comunque una frase fluida, e così il modello riempie il vuoto con qualcosa che si legge bene. Domande vaghe o suggestive, argomenti oscuri, richieste di cifre esatte, note a piè di pagina, citazioni di sentenze o numeri di telefono, e input molto lunghi rendono il fenomeno più probabile.

Si presentano in più forme. Un modello può inventare un fatto, attribuire una citazione alla persona sbagliata, citare uno studio, una sentenza o un indirizzo web inesistenti, confondere due città, farmaci o aziende simili, o contraddire un documento che gli è stato fornito. Nel codice un caso tipico è la chiamata a una funzione di libreria con un nome plausibile che la libreria non ha. Il tono non dà indizi, perché una risposta inventata di solito è scritta con la stessa scorrevolezza di una corretta.

Nulla elimina del tutto il problema, ma alcune abitudini lo riducono. Dai al modello il materiale di partenza e chiedigli di rispondere solo da quello. Chiedi citazioni o riferimenti che puoi aprire. Usa un modello di ragionamento per le domande a più passaggi. Confronta le risposte tra due modelli, o fai rivedere la prima a un secondo. Abbassa la casualità quando cerchi fatti e preferisci una domanda breve e circoscritta a una dispersiva. E tratta tutto ciò che ha peso legale, medico, finanziario o di sicurezza come qualcosa da confermare con una fonte affidabile. I ricercatori distinguono i casi intrinseci, in cui l’uscita contraddice il materiale fornito, da quelli estrinseci, in cui aggiunge affermazioni impossibili da confermare in un senso o nell’altro; riassunto, traduzione e risposta a domande mostrano entrambi i tipi.

La pagina sulla verifica delle risposte dell’IA descrive come funziona il controllo incrociato di NeverNo: un modello di un’altra famiglia rilegge la risposta, cita ciò che sembra errato e propone una correzione, con due modalità, una che rilegge senza il web e una che cerca le affermazioni sul web e cita le fonti. Claude Sonnet 5.5, il modello equilibrato di Anthropic, è uno dei modelli anonimizzati che puoi usare per entrambi i lati dello scambio; ha una finestra di contesto di 200.000 token e un impegno di ragionamento regolabile.

Anonimizzato significa che il creatore, Anthropic, legge il testo senza sapere chi sei, e le sue regole continuano a valere. Non sosteniamo che un modello allucini più o meno di un altro. L’approccio sensato è lo stesso per tutti: chiedi le fonti, aprile e tieni un controllo umano su ciò che conta.