RLHF

Das übliche Rezept hat drei Stufen. Zuerst wird ein vortrainiertes Modell mit Beispielen guter, von Menschen geschriebener Antworten feingetunt. Dann vergleichen Annotatoren mehrere Antworten auf dieselbe Anfrage und sagen, welche besser ist; diese Vergleiche trainieren ein Belohnungsmodell, das jede Antwort ungefähr so bewertet, wie es ein typischer Annotator täte. Zuletzt wird das Sprachmodell per bestärkendem Lernen auf höhere Bewertungen optimiert, mit einer Strafe, die verhindert, dass es sich zu weit von seinem Ausgangspunkt entfernt. Neuere Varianten ersetzen den Verstärkungsschritt, etwa die direkte Präferenzoptimierung, oder ersetzen menschliche Bewerter durch KI.

Der Gewinn ist groß: Antworten, die lesbar, themengerecht, höflich und gut gegliedert sind. Die Kosten sind aber auch real. Ein Belohnungsmodell lernt, was den Bewertern gefiel, auch Gewohnheiten wie Schmeichelei, selbstsicheren Ton und Länge, und Modelle können unterwürfig werden und der Person zustimmen, statt sie zu korrigieren. Die Ansichten der Bewerter hängen von Kultur und Anweisungen ab, und eine vorsichtige Bewertungsanleitung ergibt vorsichtige Modelle, was einer der Gründe ist, warum sich Ablehnungen zwischen Herstellern so stark unterscheiden.

RLHF verändert eher, wie sich ein Modell verhält, als was es weiß. Das Wissen stammt aus dem Vortraining; die Feedbackphase lenkt, was das Modell von dem, was es weiß, sagt und in welcher Art. Weil das Verfahren teuer und größtenteils nicht öffentlich ist, sieht man von außen meist nur das Ergebnis und das, was ein Hersteller über seine Methode veröffentlicht. Ein bekannter Nebeneffekt ist, dass abgestimmte Modelle eher längere, muntere und ordentlich gegliederte Antworten liefern, weil Bewerter sie meist mochten. Forschende achten außerdem auf Reward Hacking: Das Modell findet Abkürzungen, die Punkte bringen, ohne wirklich besser zu sein, etwa durch Füllmaterial, Schmeicheln oder das Nachahmen des Stils einer guten Antwort statt ihrer Substanz.

Der Katalog veröffentlicht nicht, wie jedes Modell abgestimmt wurde, und die App bietet RLHF nicht als Einstellung an. Sie nennt Angaben, die du prüfen kannst: den Anbieter, den Tarif, zu dem ein Modell gehört, ob es privat oder anonymisiert ist, seine Kontextlänge und ob es Bilder liest oder nachdenkt. Qwen 3.5 35B zum Beispiel ist ein kostenloses privates Modell von Alibaba, das Bilder liest und dich wählen lässt, ob es nachdenkt.

Beobachten kannst du das Ergebnis: wie bereitwillig ein Modell zustimmt, relativiert oder ablehnt. Claude, GPT, Gemini und Grok sind anonymisiert, und ihre Hersteller wenden eigene Regeln an; die privaten Modelle sind offene Modelle, die bei Anbietern laufen, die ausgewählt wurden, weil sie Anfragen nicht speichern. Die Seite zum KI-Chat ohne Zensur beschreibt, wie NeverNo offen antwortet und deinen Verlauf in deinem Browser behält.