AI のハルシネーション対策。 別系統のモデルが回答をチェック。

「ディベート」には2つのモードがあり、どちらを使うかは自動で選ばれます。回答に事実が含まれていればウェブで確認し、そうでなければ、2つ目の AI がウェブなしで読み直します。「ファクトチェック」では、アプリが回答の主張を抜き出してウェブで調べ、それぞれにラベルを付け、最終版にクリックできる出典を載せます。出典をでっち上げることはありません。「レビュー」では、別系統のモデルがウェブを検索せずに回答を読み、批評します。事実に関する質問で、回答に確認できる事実（数字や日付）が含まれるとき、または回答自身が確認できないと述べるときは、ファクトチェックが始まります。コードや意見を問う質問はレビューに回ります。モードは自分で選ぶこともできます。

レビューは、確かめようのない20問で測定しました。改良前は、最終版が事実をでっち上げたのが20問中10問でしたが、改良後は20問中1問で、でっち上げた出典はありませんでした。20問に1問でも、ゼロではありません。だからこそ、回答に確かめるべき事実があればファクトチェックがウェブを調べますし、出典を開いて確かめる価値があります。

「複数の視点」は、意見が分かれるテーマのためのプレミアムのタブです。系統の異なる2つのモデルが弁護役となり、それぞれ自前のウェブ出典をもとに一方の立場を主張し、最後に総合的な回答が両者をまとめます。1テーマあたり平均でおよそ21クレジットかかり、購読者向けです。単一モデルによるバランスの取れた回答と比べて、審査役は測定したケース（6テーマ、のち15テーマ）の83〜90%で「複数の視点」を選びました。事実が決着している4つの罠では、4つとも決着した事実として示されました。

自分の回答を読み直させても、モデルはそれ以上何も直せません。実際に測りました。バグも誤りも同じままで、審査役が読み直し版を選んだのは自由課題の15%だけでした。一度見落としたモデルは、二度目も見落としやすいようです。原因は急いだことではなく、学習のしかたにあると考えられます。

同じ系統の批評役も、良くはならず、むしろ悪くなる場合がありました。DeepSeek の回答を DeepSeek の批評役に読ませたところ、指摘は増え、誤警報も増え、修正後のコードで直せた仕込みバグは49件中46件で、回答のみの47件を下回りました。回答が引っかかった、定番を逆にした謎かけも見落としました。同じ系統のモデルは、盲点を共有しています。

別系統の批評役は、その謎かけに気づき、回答が間違えた数え上げの問題を数え直し（153のところを155としていた）、コードに残っていた最後の2件のバグも見つけました。そのためアプリは、モデルに自分と同じ系統を検証させません。批評役はサーバー側で選ばれ、ブラウザが送るのは選んだ深さだけです。

何でも承認する検証役は役に立たず、念入りに見せようと問題をでっち上げる検証役はもっと困りものです。そこで批評役には厳しい決まりがあります。誤りのある行や主張を正確に引用し、反例、計算、満たしていない要件といった根拠とともに理由を説明し、修正案を示し、文体には触れません。本当に確認したうえで重大な問題がなければ、そう書き、何を確かめたかを述べます。

調査では、別系統の批評役は1回の検証でおよそ2点を指摘しました。コードでは、関数名を挙げた指摘19件のうち17件が、実際に仕込まれたバグを指していました。3分の1のケースでは重大な指摘はないと答え、その場合は回答がそのまま残り、最後の工程は省かれます。

元のモデルも言われるままには従いません。確かめられた指摘だけを受け入れ、退けるときは理由を書く決まりです。最終版20件のうち15件で、少なくとも1つの指摘が理由つきで退けられました。最終版の下には、変更点と採用しなかった指摘の両方の一覧が表示されます。

もっと長いやり取りも測りました。2つのモデルが2〜3往復、論点ごとに応酬し、最後にまとめる方式です。コードでは1回の検証を上回らず、質問の誤りは1問増え、審査役が選んだのは自由課題の半分にとどまり、費用は3倍、時間は2〜3倍かかりました。この方式はアプリには入れていません。

そのためアプリは、1往復をきちんと行います。下書き、別系統の批評役、修正済みの最終版です。批評役が何も見つけなければ、やり取りはそこで終わります。テストケースの3分の1がそうでした。

昔ながらの助言は今も有効です。出典を求めて、開いて確かめる。計算は自分でやり直す。コードは信用する前に実行し、できれば空のリスト、誕生日をまたぐ日付、数字でない値といった境界ケースのテストも用意する。質問の言い方を変えて、答えが変わらないか見る。そして別のモデルにも聞く。系統の違う2つのモデルが同じ間違いをすることは、あまりありません。

「ディベート」は、この最後の手順を自動化し、記録として残します。間違いの代償が大きい場面ほど役に立ちます。公開前のコード、判断の根拠になる計算、契約書の要約、トレードオフのある計画、大事なメールなどです。短いやり取りや好みの問題なら、回答だけで足りることが多く、そのほうが早く済みます。

あなた自身の判断の代わりにはなりません。「レビュー」モードでは批評役はウェブを検索せず、2つのモデルが一致した点が間違っていることもあります。できるのは、独立した2度目の読みを、理由つきで目の前に示すことです。