Kontextfenster

Ein Modell hat zwischen zwei Anfragen kein Gedächtnis. Bei jeder Nachricht schickt die App das gesamte Gespräch erneut, und das Modell liest es von vorn. Alles, was ins Fenster passt, sieht das Modell; was außerhalb liegt, existiert für diese Antwort schlicht nicht. Das Fenster teilen sich Eingabe und Ausgabe: Ein langer Prompt lässt weniger Platz für die Antwort, und viele Modelle setzen außerdem eine eigene Obergrenze für die Länge einer einzelnen Antwort. Auch Bildanhänge, Werkzeugdefinitionen und versteckte Anweisungen belegen Platz. Stell dir einen Schreibtisch vor: Ein kleiner zwingt dich, Papiere wegzuräumen, ein großer fasst den ganzen Fall.

Ein größeres Fenster erlaubt längeres Material: einen Vertrag, mehrere Kapitel eines Manuskripts, ein Besprechungsprotokoll oder einen großen Teil einer Codebasis, ohne es zu zerstückeln, etwa einen vierzigseitigen Vertrag, eine Telefonkonferenz zu Quartalszahlen, den Entwurf einer Abschlussarbeit, eine exportierte Tabelle oder ein ganzes Repository. Das hat aber seinen Preis. Mehr Tokens zu lesen dauert länger und kostet bei Bezahlmodellen mehr Geld. Außerdem gehen Modelle mit sehr langen Eingaben ungleichmäßig um, und Details mitten in einem riesigen Text werden manchmal übersehen; ein großes Fenster garantiert also nicht, dass jede Zeile gut genutzt wird.

Wächst ein Gespräch über das Fenster hinaus, muss die App entscheiden. Sie kann die ältesten Nachrichten streichen oder kürzen, durch eine Zusammenfassung ersetzen oder dich bitten, neu anzufangen. Manche Apps behalten die Anfangsanweisungen und die letzten Runden und verdichten, was dazwischen liegt. Ein anderer Ansatz ist die Suche: Statt eine ganze Bibliothek einzufügen, durchsuchst du sie und gibst dem Modell nur die Passagen, die zur Frage gehören. Architekturtricks wie Sliding-Window-Attention, Rotary Position Embeddings (RoPE) und Key-Value-Caching erlauben es Ingenieuren, Fenster auf Hunderttausende Positionen zu strecken, doch Speicherbedarf und Latenz steigen mit der Promptlänge weiter.

Jedes Modell bei NeverNo hat sein eigenes Fenster, das auf seiner Seite steht. Der Großteil des Katalogs bietet 128.000 oder 200.000 Tokens, Claude Haiku 5.5 hat 100.000, und Kimi K3, das private Reasoning-Modell von Moonshot, hat mit 256.000 Tokens das größte. Das reicht, um einen langen Bericht oder einen Stapel Dokumente in ein Gespräch zu legen und Fragen zum Ganzen zu stellen.

Die Seite zur ChatGPT-Alternative beschreibt dieselbe Idee für Leute, die von einem anderen Assistenten wechseln: ein langes Dokument mitbringen, das Gespräch behalten und das Modell wählen, dessen Fenster zur Aufgabe passt. Für Sammlungen, die für jedes Fenster zu groß sind, hält der Tresor deine Dokumente verschlüsselt in deinem Browser und sendet nur die Passagen, die eine Frage braucht.