RAG (generazione aumentata dal recupero)

Un sistema RAG ha due fasi. Prima, un passaggio di indicizzazione divide ogni documento in brani e trasforma ciascun brano in un embedding, un elenco di numeri che ne cattura il significato. I brani su temi simili finiscono con vettori simili. Poi, al momento della domanda, la domanda viene trasformata in vettore allo stesso modo, i brani più vicini si trovano confrontando i vettori e vengono aggiunti al prompt accanto alla domanda. Il modello risponde usandoli.

Il metodo risolve due limiti di un modello semplice. Non può leggere ciò su cui non è stato addestrato, come i tuoi appunti, il contratto di un fornitore, il manuale di un prodotto o le novità della settimana scorsa, e la sua finestra di contesto è finita. Il recupero porta dentro solo ciò che serve, così una biblioteca molto più grande della finestra può comunque essere interrogata. Dà inoltre alla risposta un appiglio: il modello può citare il brano che ha usato, e un’allucinazione diventa più facile da scoprire.

La qualità della risposta dipende dalla qualità del recupero. Se il brano giusto non viene trovato, il modello non ha nulla da citare e può ripiegare sulle ipotesi. Conta anche la misura dei brani: un frammento tagliato a metà frase perde senso, mentre un blocco grande quanto un capitolo spreca spazio. Pagine scansionate, tabelle e note sono ostacoli frequenti. Una risposta RAG si legge quindi meglio tenendo sott’occhio i brani citati. Gli ingredienti tipici sono un modello di embedding, un indice vettoriale, un riordinatore, una regola di suddivisione e un modello di prompt; gli usi tipici sono assistenti per l’assistenza clienti, ricerca giuridica, aiuti allo studio e wiki interne. Le soluzioni ibride combinano vettori semantici e punteggi classici per parole chiave come BM25, poi riordinano la rosa dei candidati con un cross-encoder, perché codici prodotto, cognomi e numeri di errore si trovano meglio con termini letterali che con il solo significato.

La Cassaforte di NeverNo è un RAG costruito attorno alla tua privacy. I documenti che aggiungi, in PDF, Word, Markdown, testo o codice, restano nel tuo browser nel database IndexedDB chiamato neverno, cifrati con la stessa chiave delle tue conversazioni. Ogni documento è diviso in brani di circa 800 token e ogni brano riceve un vettore di 1.024 numeri. Quel vettore è calcolato una volta da un modello privato presso DeepInfra, e la ricerca vera e propria avviene nel tuo browser, sui vettori lì conservati.

Quando «Rispondi con la mia cassaforte» è attivo, una domanda invia al modello che risponde solo i brani più vicini, al massimo 6, o 3 nel piano gratuito, con il nome del documento e soltanto insieme a quel messaggio. Il resto dei tuoi documenti non esce mai. Con un modello anonimizzato, i brani raggiungono il suo creatore insieme al messaggio, secondo le regole di quel creatore. GLM 5.3 Flash è un modello privato gratuito di Z.ai che legge le immagini, e la pagina sull’IA privata spiega dove viene conservato tutto.