Token

Bevor ein Modell deine Nachricht sieht, zerlegt ein Tokenizer sie in Stücke aus einem festen Vokabular von mehreren zehntausend Einträgen. Häufige Wörter sind meist ein Token, seltenere werden in mehrere geteilt, und ein langer Fachbegriff oder ein Name kann vier oder fünf brauchen. Ein Wort wie „unglaublich“ könnte zu „un“, „glaub“ und „lich“ werden, während „der“ ganz bleibt. Auch Großbuchstaben, Umlaute, Tabulatoren und Leerzeichen am Ende verändern die Zerlegung. Jedes Token wird dann in eine Zahlenliste verwandelt, und das verarbeitet das neuronale Netz tatsächlich.

Die Zerlegung hängt von der Sprache und vom Tokenizer jedes Modells ab. Englischer Text braucht tendenziell weniger Tokens pro Wort als Text in Sprachen mit reicheren Wortformen oder anderen Schriftsystemen, derselbe Satz kann also auf Japanisch oder Arabisch mehr kosten als auf Englisch. Auch Quellcode, lange Zahlen, Emoji und URLs zersplittern in viele kleine Stücke. Tokenizer unterscheiden sich zwischen Modellfamilien, daher ist eine Zählung mit dem Werkzeug eines Anbieters für einen anderen nur eine Schätzung.

Tokens zählen aus drei praktischen Gründen. Sie messen die Länge: Ein Modell kann nur eine bestimmte Zahl von Tokens auf einmal verarbeiten und in einer Antwort schreiben. Sie messen die Kosten: Anbieter berechnen gelesene Tokens (Eingabe) und geschriebene (Ausgabe) meist getrennt. Abrechnung, Wartezeit, Abschneiden und Ratenbegrenzung folgen aus derselben Zählung, ob es um eine Besprechungszusammenfassung, eine Mietvertragsklausel, einen Regex-Fix oder eine Menüübersetzung geht. Und sie erklären seltsames Verhalten: Ein Modell, das auf Tokens statt auf Buchstaben arbeitet, kann über Rätsel stolpern wie die Frage, wie oft „r“ in „strawberry“ vorkommt, oder das Umkehren einer langen Zeichenkette. Tokenisierungsalgorithmen wie Byte-Pair-Encoding starten bei einzelnen Bytes und verschmelzen wiederholt die häufigsten benachbarten Paare, bis ein Vokabular der gewünschten Größe entsteht; deshalb werden häufige Silben zu einzelnen Einträgen, während seltene Folgen zerstückelt bleiben.

Bei NeverNo tauchen Tokens in den Grenzen auf, die für jedes Modell angezeigt werden. DeepSeek V4 Flash, ein kostenloses privates Modell, hat ein Kontextfenster von 128.000 Tokens und kann in einer Antwort bis zu 8.192 Tokens schreiben, was Platz für ein langes Dokument und eine lange Antwort im selben Gespräch ist. Andere Modelle haben mehr oder weniger Platz, und jede Modellseite nennt ihre eigenen Zahlen.

In der API wird die Nutzung in Tokens gemeldet, und der Parameter max_tokens (oder max_completion_tokens) begrenzt die Länge einer Antwort. Auch der Embeddings-Endpunkt, der Text für die Suche in Vektoren verwandelt, rechnet in Tokens. Die Seite zur ChatGPT-Alternative erklärt, wie du von einem anderen Assistenten umsteigst und deinen Verlauf in deinem Browser behältst.