RAG (Retrieval-Augmented Generation)

Ein RAG-System hat zwei Stufen. Zuerst zerlegt ein Indexierungsschritt jedes Dokument in Abschnitte und macht aus jedem Abschnitt ein Embedding, eine Zahlenliste, die seine Bedeutung erfasst. Abschnitte zu ähnlichen Themen erhalten ähnliche Vektoren. Dann wird zur Fragezeit die Frage auf dieselbe Weise in einen Vektor verwandelt, die nächstliegenden Abschnitte werden durch Vektorvergleich gefunden, und diese Abschnitte werden neben der Frage in den Prompt eingefügt. Das Modell antwortet dann damit.

Das Verfahren behebt zwei Grenzen eines einfachen Modells. Es kann nicht lesen, worauf es nicht trainiert wurde, etwa deine Vorlesungsnotizen, einen Lieferantenvertrag, ein Produkthandbuch oder das Changelog der letzten Woche, und sein Kontextfenster ist endlich. Die Suche holt nur das Nötige, sodass eine Bibliothek, die weit größer als das Fenster ist, trotzdem befragt werden kann. Außerdem gibt sie der Antwort Halt: Das Modell kann den genutzten Abschnitt zitieren, wodurch sich eine Halluzination leichter entdecken lässt.

Die Qualität der Antwort hängt von der Qualität der Suche ab. Wird der richtige Abschnitt nicht gefunden, hat das Modell nichts zu zitieren und greift womöglich aufs Raten zurück. Auch die Abschnittsgröße zählt: Ein mitten im Satz abgeschnittenes Fragment verliert seinen Sinn, ein kapitelgroßer Block verschwendet Platz. Eingescannte Seiten, Tabellen und Fußnoten sind häufige Stolpersteine. Eine RAG-Antwort liest man daher am besten mit den zitierten Abschnitten im Blick. Typische Bausteine sind ein Embedding-Modell, ein Vektorindex, ein Re-Ranker, eine Zerlegungsregel und eine Prompt-Vorlage; typische Einsätze sind Helpdesk-Bots, juristische Recherche, Lernhilfen und interne Wikis. Hybride Aufbauten kombinieren semantische Vektoren mit klassischer Stichwortbewertung wie BM25 und ordnen die Kandidatenliste mit einem Cross-Encoder neu, weil exakte Produktcodes, Nachnamen und Fehlernummern durch wörtliche Begriffe besser getroffen werden als durch Bedeutung allein.

Der Tresor von NeverNo ist RAG, gebaut um deine Privatsphäre. Die Dokumente, die du hinzufügst, als PDF, Word, Markdown, Text oder Code, liegen in deinem Browser in der IndexedDB-Datenbank namens neverno, mit demselben Schlüssel verschlüsselt wie deine Gespräche. Jedes Dokument wird in Abschnitte von etwa 800 Tokens zerlegt, und jeder Abschnitt erhält einen Vektor aus 1.024 Zahlen. Diesen Vektor berechnet ein privates Modell bei DeepInfra einmalig, und die Suche selbst läuft in deinem Browser über die dort gespeicherten Vektoren.

Ist „Mit meinem Tresor antworten“ an, sendet eine Frage nur die nächstliegenden Abschnitte, höchstens 6, im kostenlosen Tarif 3, mit dem Namen des Dokuments, nur mit dieser Nachricht, an das antwortende Modell. Der Rest deiner Dokumente verlässt dein Gerät nie. Bei einem anonymisierten Modell erreichen die Abschnitte mit der Nachricht den Hersteller, nach dessen Regeln. GLM 5.3 Flash ist ein kostenloses privates Modell von Z.ai, das Bilder liest, und die Seite zur privaten KI erklärt, wo alles gespeichert wird.