Mixture of Experts

In einem dichten Modell nimmt jedes Gewicht an jedem Token teil. In einem Mixture-of-Experts-Modell werden die Feed-Forward-Blöcke durch eine Menge von Experten ersetzt, Dutzende oder Hunderte, und ein kleiner gelernter Router wählt für jedes Token in jeder Schicht einige davon aus. Die Experten werden keine ordentlichen Fachleute wie Juristin oder Chemiker; sie spezialisieren sich eher auf Muster von Tokens, und der Router lernt diese Aufteilung im Training. Veröffentlichte Größen werden deshalb zweifach angegeben: gesamte Parameter und aktive Parameter pro Token.

Der Vorteil ist eine Qualität nahe an der eines viel größeren dichten Modells bei einem Bruchteil der Rechenarbeit pro Token, sodass die Erzeugung schnell und günstig sein kann. Die Kosten sind ebenfalls real. Alle Experten müssen im Speicher liegen, der Speicherbedarf folgt also der Gesamtzahl, nicht der aktiven. Das Routing muss ausgewogen bleiben, damit manche Experten nicht überlastet sind, während andere leer laufen, und Training und Betrieb sind aufwendiger. Auch das Feintuning kann heikler sein, und Quantisierung begleitet diese Modelle oft, damit sie in den Speicher passen.

Lies eine Angabe wie 35B oder 400B nicht als die Rechenarbeit, die eine Antwort verbraucht. Frage bei einem Mixture-of-Experts-Modell nach beiden Zahlen: Die aktiven Parameter deuten auf Tempo und Kosten, die gesamten auf Wissenskapazität und Speicher. Viele neuere offene und einige geschlossene Modelle sind so gebaut, auch wenn Hersteller es nicht immer sagen. Ingenieure sprechen außerdem von Lastausgleichsverlusten, Kapazitätsgrenzen und geteilten Experten, durch die jedes Token läuft; all das dient dazu, das Routing stabil zu halten. Bei einem offenen Modell stehen diese Entwurfsentscheidungen im technischen Bericht und in der Konfigurationsdatei, die die Zahl der Experten, die Auswahl je Token und die Größe jedes Experten nennen.

Der Katalog von NeverNo sagt nicht, welche Modelle Mixtures of Experts sind, schau also für ein bestimmtes Modell in die Dokumentation des Herstellers. Was der Katalog nennt, ist praktisch: den Anbieter, den Tarif, ob das Modell privat oder anonymisiert ist, seine Kontextlänge und ob es Bilder liest oder nachdenkt.

Die privaten Modelle stammen aus Familien mit offenen Gewichten wie DeepSeek, GLM, Qwen und Mistral. Qwen 3.5 35B ist ein kostenloses von Alibaba mit 128.000 Tokens Kontext, das Bilder liest und dich wählen lässt, ob es nachdenkt. Privat heißt, dass es bei Anbietern läuft, die ausgewählt wurden, weil sie Anfragen nicht speichern, und die Transparenzseite sagt klar, dass NeverNo deren Server nicht einsehen kann.