ハルシネーション

ハルシネーションは、言語モデルのしくみから生まれます。モデルは、それまでの文脈に照らして統計的にもっともらしい文章を作るよう学習しており、事実を調べるわけではなく、自分が知らないことを知る感覚も備えていません。答えが学習内容にない、あるいは弱くしか表れていないときでも、もっともらしい続きは流暢な文なので、読みやすい何かで穴を埋めてしまいます。あいまいな質問や誘導的な質問、マイナーな話題、正確な数字や脚注、判例の引用、電話番号の要求、非常に長い入力は、これを起こりやすくします。

現れ方はいくつかあります。事実をでっち上げる、引用を別の人のものにする、存在しない研究や判決やウェブアドレスを挙げる、似た町や薬や会社を取り違える、与えられた文書と矛盾する、などです。コードでは、ライブラリにない関数をもっともらしい名前で呼び出すのが典型です。口調は手がかりになりません。作り話も、正しい回答と同じくなめらかに書かれるのが普通だからです。

問題を完全に消す方法はありませんが、いくつかの習慣で減らせます。モデルに元の資料を渡し、そこからだけ答えるよう求めます。開いて確認できる引用や参考文献を求めます。複数の段階がある質問には推論モデルを使います。二つのモデルで回答を比べるか、二つ目に最初の回答を見直させます。事実を調べるときはランダムさを下げ、広がりすぎた質問より短く範囲の絞られた質問を選びます。そして、法律、医療、金銭、安全に関わることは、信頼できる情報源で確認してください。研究者は、出力が与えられた資料と矛盾する「内在的」なものと、どちらとも確かめられない主張を付け加える「外在的」なものを区別しています。要約、翻訳、質問応答のいずれにも、両方の種類が現れます。

AI の回答の事実確認のページでは、NeverNo の相互チェックのしくみを説明しています。別の系統のモデルが回答を読み直し、おかしいと思う箇所を引用して修正案を示します。モードは二つあり、ウェブを使わずに読み直すものと、主張をウェブで調べて出典を示すものです。Anthropic のバランスのとれたモデル Claude Sonnet 5.5は、このやり取りのどちら側にも使える匿名化モデルの一つで、コンテキストウィンドウは200,000トークン、推論の力の入れ方を調整できます。

匿名化とは、開発元の Anthropic があなたが誰なのかを知らないままテキストを読み、同社の規則が適用されるという意味です。当社は、特定のモデルが他より多く、あるいは少なくハルシネーションを起こすとは主張しません。健全な対処はどのモデルでも同じです。出典を求め、実際に開き、大切なことは人の目で確認し続けてください。