Finestra di contesto

Un modello non ha memoria tra una richiesta e l’altra. Ogni volta che invii un messaggio l’app rimanda l’intera conversazione e il modello la rilegge dall’inizio. Tutto ciò che sta nella finestra è visibile al modello; ciò che resta fuori, per quella risposta, semplicemente non esiste. La finestra è condivisa tra ciò che entra e ciò che esce, quindi un prompt lungo lascia meno spazio alla risposta, e molti modelli fissano anche un tetto separato per la lunghezza di una singola risposta. Occupano spazio anche gli allegati immagine, le definizioni degli strumenti e le istruzioni nascoste. Pensa a una scrivania: una piccola ti obbliga a riporre i fogli, una grande regge tutta la pratica.

Una finestra più ampia permette di lavorare su materiale più lungo, come un contratto, più capitoli di un manoscritto, la trascrizione di una riunione o gran parte di un progetto di codice, senza spezzettarlo: un contratto di quaranta pagine, una conference call trimestrale sui risultati, la bozza di una tesi, un foglio di calcolo esportato o un intero repository. Ha però dei costi: leggere più token richiede più tempo e, con i modelli a pagamento, più denaro. Inoltre i modelli gestiscono in modo non uniforme gli input molto lunghi, e i dettagli sepolti a metà di un testo enorme a volte sfuggono, quindi una finestra grande non garantisce che ogni riga venga sfruttata bene.

Quando una conversazione supera la finestra, l’app deve scegliere. Può scartare o accorciare i messaggi più vecchi, sostituirli con un riassunto o chiederti di ricominciare. Alcune app conservano le istruzioni iniziali e gli ultimi scambi e condensano tutto ciò che sta in mezzo. Un altro approccio è il recupero: invece di incollare un’intera biblioteca, la interroghi e dai al modello solo i passaggi pertinenti alla domanda. Accorgimenti architetturali, come l’attenzione a finestra scorrevole, le codifiche posizionali rotary (RoPE) e la cache chiave-valore (KV cache), permettono ai tecnici di estendere le finestre a centinaia di migliaia di posizioni, anche se consumo di memoria e latenza continuano a salire man mano che il prompt si allunga.

Ogni modello di NeverNo ha la sua finestra, indicata nella sua pagina. La maggior parte del catalogo offre 128.000 o 200.000 token, Claude Haiku 5.5 ne ha 100.000, e Kimi K3, il modello privato di ragionamento di Moonshot, ha la più ampia con 256.000 token. Basta per mettere in una sola conversazione un lungo rapporto o una pila di documenti e fare domande sull’insieme.

La pagina sull’alternativa a ChatGPT descrive la stessa idea per chi arriva da un altro assistente: porta un documento lungo, mantieni la conversazione e scegli il modello la cui finestra si adatta al lavoro. Per raccolte troppo grandi per qualsiasi finestra, la Cassaforte tiene i tuoi documenti cifrati nel browser e invia solo i passaggi che servono a una domanda.