Quantisierung

Ein Sprachmodell besteht aus Milliarden Zahlen, den Gewichten. Im Training liegen sie meist als Gleitkommazahlen mit 16 oder 32 Bit vor. Die Quantisierung rundet sie auf ein gröberes Raster, etwa ganze Zahlen mit 8 oder 4 Bit, so wie ein Foto mit weniger Farben weniger Platz braucht. Halbiert man die Bits, halbiert sich ungefähr der nötige Speicher, und das entscheidet, ob ein Modell auf eine Grafikkarte, einen Laptop oder ein Smartphone passt. Weniger Daten zu bewegen beschleunigt auch die Erzeugung, denn ein großer Teil der Zeit geht fürs Lesen der Gewichte aus dem Speicher drauf.

Die Methoden unterscheiden sich. Die Quantisierung nach dem Training wandelt ein fertiges Modell um, mit Verfahren wie GPTQ, AWQ oder den GGUF-Formaten lokaler Laufzeiten. Quantisierungsbewusstes Training baut das Runden ins Lernen ein und verliert weniger. Manche Verfahren halten empfindliche Schichten in höherer Präzision. Bei 8 Bit ist der Unterschied meist kaum zu bemerken. Bei 4 Bit bleiben die meisten Modelle nützlich, können aber bei Mathematik, langem Schlussfolgern, selteneren Sprachen oder exaktem Code nachlassen. Darunter fällt die Qualität schnell.

Quantisierung ist eine von mehreren Möglichkeiten, die Kosten des Betriebs zu senken; Destillation, die ein kleineres Modell trainiert, und die Experten-Mischung, die nur einen Teil des Modells aktiviert, sind weitere. Ein quantisiertes größeres Modell schlägt oft ein kleineres in voller Präzision bei gleicher Dateigröße, weshalb sich der lokale Betrieb darauf stützt. Die Bezeichnungen sind nicht immer klar; ein Anbieter, der die genutzte Präzision veröffentlicht, gibt dir etwas zum Vergleichen. Praktische Tests sind leicht: Stelle zwei Versionen dieselbe anspruchsvolle Frage, vergleiche lange Ausgaben Zeile für Zeile und achte auf wiederholte Wendungen, kaputte Syntax oder Rechenfehler. Ein Maß wie die Perplexität zeigt, wie überrascht ein Modell von einem Text ist, und ein Anstieg nach der Quantisierung ist ein frühes Warnsignal, dass etwas schlechter wurde, noch bevor es ein Mensch bemerkt.

Der Katalog von NeverNo nennt nicht, mit welcher Zahlenpräzision ein Modell bereitgestellt wird, du beurteilst sie also an den Ergebnissen statt an einem Etikett. Er nennt zu jedem Modell den Anbieter, den Tarif, ob es privat oder anonymisiert ist, die Kontextlänge und ob es Bilder liest oder nachdenkt.

Modelle mit offenen Gewichten, zu denen die privaten gehören, sind die Familie, in der quantisierte Versionen häufig sind und offen geteilt werden. Qwen 3.5 35B ist ein kostenloses privates Modell von Alibaba mit 128.000 Tokens Kontext, das Bilder liest und dich wählen lässt, ob es nachdenkt. Privat heißt, dass es bei Anbietern läuft, die ausgewählt wurden, weil sie Anfragen nicht speichern, und die Transparenzseite sagt klar, dass NeverNo deren Server nicht einsehen kann.