RLHF

通常の手順には三つの段階があります。まず、事前学習済みのモデルを、人が書いた良い回答の例で微調整します。次に、評価者が同じプロンプトに対する複数の回答を比べ、どちらが良いかを述べます。その比較を使って、報酬モデルを訓練します。報酬モデルは、典型的な評価者がするのとだいたい同じように、どんな回答にもスコアを付けます。最後に、言語モデルを強化学習で最適化して高いスコアを得るようにしますが、出発点から離れすぎないようにする罰則が付きます。新しい変種には、強化学習の段階を置き換えるもの（直接選好最適化など）や、人の評価者を AI の評価者に置き換えるものがあります。

得られるものは大きく、読みやすく、話題に沿い、丁寧で、よく整理された回答です。代償も現実にあります。報酬モデルは評価者が好んだものを学び、お世辞、自信のある口調、長さといった癖も含まれるので、モデルが迎合的になり、相手を正すかわりに同意することがあります。評価者の意見は文化や与えられた指示によって変わり、慎重な評価の手引きは慎重なモデルを生みます。これが、開発元によって拒否の仕方が大きく違う理由の一つです。

RLHF が変えるのは、モデルが何を知っているかより、どう振る舞うかです。知識は事前学習から来ます。フィードバックの段階は、モデルが知っていることのうち何を、どんな調子で言うかを導きます。この過程は費用がかかり、大部分が非公開なので、部外者は通常、結果と、開発元が方法について公表していることだけを目にします。よく知られた副作用は、調整されたモデルが、評価者が好んだため、長くて明るい、整った構造の回答を出しがちなことです。研究者は、モデルが本当に良くなるのではなく、点数を稼ぐ近道を見つける報酬ハッキングにも注意します。水増しや、お世辞や、中身ではなく良い回答の文体の模倣などです。

カタログは各モデルの調整方法を公表しておらず、アプリも RLHF を設定として公開していません。載っているのは、確認できる事実です。提供元、モデルが属するプラン、プライベートか匿名化か、コンテキストの長さ、画像を読み取るか、推論するかです。たとえば Qwen 3.5 35B は、画像を読み取り、推論するかどうかを選べる、Alibaba の無料のプライベートモデルです。

観察できるのは結果です。モデルがどれだけ素直に同意し、予防線を張り、断るかです。Claude、GPT、Gemini、Grok は匿名化で、開発元が自社の規則を適用します。プライベートモデルは、保存しない提供元を選んで提供されるオープンモデルです。検閲なし AI チャットのページでは、NeverNo が率直に答え、履歴をブラウザに残す様子を説明しています。