KI-Halluzinationen erkennen: eine zweite KI aus einer anderen Modellfamilie prüft die Antwort.

Die Debatte hat zwei Modi und wählt selbst einen für dich: Sie prüft die Fakten im Web, wenn die Antwort welche enthält; sonst liest eine zweite KI sie ohne Web noch einmal. Im „Faktencheck“ zieht die App die Behauptungen aus der Antwort, sucht sie im Web, versieht jede mit einem Etikett und nennt in der Endfassung anklickbare Quellen, ohne je eine Quelle zu erfinden. In der „Durchsicht“ liest ein Modell aus einer anderen Familie die Antwort und kritisiert sie, ohne das Web zu durchsuchen. Der Faktencheck startet, wenn die Antwort bei einer Sachfrage prüfbare Fakten (Zahlen, Daten) enthält oder sagt, dass sie etwas nicht bestätigen kann; Code und Meinungsfragen gehen in die Durchsicht. Du kannst den Modus auch selbst wählen.

Die Durchsicht haben wir an 20 Fragen gemessen, die sich nicht überprüfen lassen. Vor unserer Überarbeitung erfand die Endfassung in 10 der 20 Fälle eine Tatsache; danach in 1 von 20, ohne eine einzige erfundene Quelle. Eins von 20 ist nicht keins: Deshalb geht der Faktencheck ins Web, sobald die Antwort Fakten zum Prüfen enthält, und deshalb lohnt es sich, die Quellen zu öffnen.

„Standpunkte“ ist ein Premium-Reiter für Themen, die spalten. Zwei Fürsprecher aus verschiedenen Familien vertreten je eine Position mit ihren eigenen Web-Quellen, danach führt eine Synthese beides zusammen. Das kostet im Schnitt etwa 21 Credits pro Thema und ist für Abonnenten. Gegenüber einer ausgewogenen Antwort eines einzelnen Modells zog ein Richter Standpunkte in 83 bis 90 % der gemessenen Fälle vor (erst 6, dann 15 Themen), und bei den 4 Fallen, in denen die Fakten geklärt sind, wurden sie 4 von 4 Mal als geklärt dargestellt.

Ein Modell, das seine eigene Antwort noch einmal liest, korrigiert nichts mehr: Wir haben das gemessen. Dieselben Fehler, dieselben Irrtümer, und der Richter bevorzugte die erneut gelesene Fassung nur bei 15 % der offenen Aufgaben. Ein Modell, das beim ersten Mal etwas übersehen hat, übersieht es tendenziell auch beim zweiten Mal, wahrscheinlich weil die Lücke vom Training kommt und nicht von Eile.

Ein Kritiker aus derselben Familie war nicht besser, manchmal sogar schlechter. Bei der Prüfung einer DeepSeek-Antwort brachte ein DeepSeek-Kritiker mehr Punkte vor, löste mehr Fehlalarme aus, und der korrigierte Code endete mit 46 von 49 behobenen eingebauten Fehlern, gegenüber 47 bei der Antwort allein. Außerdem übersah er ein umgekehrtes Rätsel, auf das die Antwort hereingefallen war: Modelle derselben Familie teilen ihre blinden Flecken.

Ein Kritiker aus einer anderen Familie erkannte dieses Rätsel, rechnete eine Zählaufgabe nach, die die Antwort falsch gelöst hatte (155 statt 153), und fand die letzten beiden Fehler im Code. Deshalb lässt die App nie ein Modell seine eigene Familie prüfen: Der Kritiker wird auf unserem Server gewählt, und der Browser sendet nur die Tiefe, die du gewählt hast.

Ein Prüfer, der alles durchwinkt, ist wertlos, und einer, der Probleme erfindet, um gründlich zu wirken, ist schlimmer. Der Kritiker arbeitet deshalb nach strengen Regeln: die genaue Zeile oder Aussage zitieren, mit einem Beleg erklären, warum sie falsch ist (ein Gegenbeispiel, eine Rechnung, die verletzte Anforderung), die Korrektur vorschlagen und den Stil ignorieren. Findet er nach echter Prüfung nichts Ernsthaftes, schreibt er das und nennt, was er verifiziert hat.

In der Studie brachte der Kritiker aus einer anderen Familie etwa zwei Punkte pro Prüfung vor. Beim Code zielten 17 der 19 Punkte, die eine Funktion benannten, auf einen echten eingebauten Fehler. In einem Drittel der Fälle sagte er, es gebe nichts Ernsthaftes zu melden; die Antwort bleibt dann unverändert, und der letzte Schritt entfällt.

Auch der Autor gehorcht nicht blind. Er hat die Anweisung, einen Punkt erst nach eigener Überprüfung zu übernehmen und jede Ablehnung zu begründen. In 15 der 20 Endfassungen wurde mindestens ein Punkt mit Begründung verworfen. Du siehst beide Listen unter der Endfassung: was sich geändert hat und welche Punkte verworfen wurden.

Wir haben auch einen längeren Austausch gemessen: zwei Modelle, die zwei oder drei Runden lang Punkt für Punkt aufeinander antworten, danach eine Synthese. Beim Code war er nicht besser als die einzelne Prüfung, er verfehlte eine Frage mehr, der Richter bevorzugte ihn nur bei der Hälfte der offenen Aufgaben, und er kostete dreimal so viel und dauerte zwei- bis dreimal so lang.

Darum macht die App eine Runde, aber richtig: ein Entwurf, ein Kritiker aus einer anderen Familie, eine korrigierte Endfassung. Findet der Kritiker nichts, endet der Austausch dort, was in einem Drittel der Testfälle vorkam.

Die klassischen Ratschläge gelten weiter. Frag nach Quellen und öffne sie. Rechne selbst nach. Führe Code aus, bevor du ihm traust, am besten mit einem Test, der die Grenzfälle abdeckt: leere Listen, Daten rund um einen Geburtstag, Werte, die keine Zahlen sind. Formuliere die Frage um und schau, ob die Antwort hält. Und frag ein anderes Modell, denn zwei Modelle aus verschiedenen Familien machen selten denselben Fehler.

„Debatte“ automatisiert diesen letzten Schritt und hält ihn schriftlich fest. Am nützlichsten ist es dort, wo ein Fehler etwas kostet: Code, den du ausliefern willst, eine Rechnung hinter einer Entscheidung, die Zusammenfassung eines Vertrags, ein Plan mit Zielkonflikten, eine wichtige E-Mail. Für einen kurzen Austausch oder eine Geschmacksfrage reicht die Antwort allein meist aus, und sie kommt schneller.

Es ersetzt nicht dein Urteil. Im Modus Durchsicht durchsucht der Kritiker das Web nicht, und ein Punkt, in dem beide Modelle übereinstimmen, kann trotzdem falsch sein. Was es leistet, ist eine zweite, unabhängige Lesart vor deinen Augen, mit den Gründen auf der Seite.