アライメント

事前学習を終えたばかりのモデルは、文章の続きを予測するだけです。料理のレシピも、愚痴も、フォーラムのスレッドも同じように楽に続けられ、自分がアシスタントであるべきだという意識はありません。アライメントは、それをアシスタントに変えるものすべてを指します。教師あり微調整に使う良い回答の例、人や AI による出力の評価、RLHF のような選好の訓練、会話の枠を作るシステムプロンプト、ときにはモデルの前後に置くフィルターなどです。研究者はその目標を、有用性、誠実さ、無害性と表現しますが、これらは互いに引っ張り合います。

本当の意見の対立は、このトレードオフにあります。非常に慎重にアライメントされたモデルは、境界線上の依頼を断り、警告を付け、回答に予防線を張ります。軽くアライメントされたモデルは、指示をより文字どおりに受け取り、判断を尋ねた人により多く委ねます。どちらも中立ではありません。何が許容されるかを誰が決めるかについての選択が、そこに組み込まれていて、その選択は見える規則の一覧だけでなく、重みの中にもあります。過剰な拒否は測定できる失敗であり、有害な要求に従ってしまうことも同じです。

アライメントは不完全でもあります。モデルは言い回しで誘導されることがあり、長い会話ではテストと違う振る舞いをすることがあり、アライメントされているように見えて、実はそう見えるように学習しただけの場合もあります。だから開発元はテストを続け、訓練、規則、監視を重ねる方法が一般的です。利用者にとっての実用的な教訓は単純です。素の能力が同じ二つのモデルでも、それぞれのアライメントの仕方によって、使い心地がまったく違うことがあります。それが実際に表れるのは、グレーゾーンの依頼への対応です。似た素材から訓練されたモデルでも、あるモデルはそのまま答え、別のモデルは但し書きを付けて答え、三つ目は断る、ということがあります。公開されたモデルカードやシステム文書は各社の意図した振る舞いを説明し、独立した検証者は決まった質問の集まりで確かめるので、主張を鵜呑みにせず、観察された振る舞いと比べられます。

NeverNo は二つの系統のモデルを扱っており、アライメントの違いは、誰がそれを決めるかにあります。Claude、GPT、Gemini、Grok は匿名化です。NeverNo は、あなたの名前、アカウント、IP アドレスを付けずにリクエストを送りますが、開発元は読んだ内容に自社の規則を適用します。プライベートモデルはオープンモデルで、画像を読み取り、推論するかどうかを選べる Alibaba の無料モデル Qwen 3.5 35Bなどがあります。そのアライメントは作者が訓練で入れたとおりで、保存しない提供元を選んで提供されています。

どのモデルを選んでも、NeverNo 自身の絶対的な制限は変わりません。未成年者に関わること、本人の同意のない実在の人物に関すること、他の人を深刻に傷つける実際の手助けは行いません。カタログは各モデルの訓練方法を公表していないので、アライメントは使って判断することになります。検閲なし AI チャットのページでは、NeverNo が率直に答え、履歴をブラウザに残す様子を説明しています。