top-p

語彙にスコアを付けたあと、モデルは次に来うるすべてのトークンの確率を持っています。top-p はそれを可能性の高い順に並べ、上から足していって合計が p に達するまで進み、その線より下をすべて捨てます。残ったトークンは、確率の合計が1になるよう調整し直され、その中から選ばれます。群の大きさは固定されていません。モデルが確信しているときは、一つのトークンだけで閾値を超えることもあり、多くの続きがもっともらしいときは、数十個に広がります。この適応的な動きこそ、状況にかかわらず常に同じ数の候補を残す単純な切り方である top-k と並んで、top-p が人気になった理由です。

レストランのメニューにたとえられます。お客さんの10回中9回の注文を占めるまで、よく頼まれる料理だけを載せるのです。はっきりした人気の一品がある静かな夜はメニューが短く、好みが分かれる忙しい夜は長くなります。top-p が1なら、すべてのトークンを残すので何も変わらず、0.1に近い値では、ほぼ最良の選択肢だけが残り、出力はほとんど決まったものになります。会話や文章には0.8から1の値が一般的で、数字を下げると、文章を軌道から外させる珍しくておかしな言葉が削られます。多くのチャット画面はこの操作を隠していますが、アシスタントが単調に聞こえたり脱線したりするときに、便利な調整つまみであることに変わりはありません。

top-p は温度と同じ段階で働き、二つは影響し合います。まず温度が確率を作り替え、そのあと top-p が、作り替えられた分布の裾野を切ります。そのため、多くの手引きは、どちらが違いを生んだのかがわかるように、一方を変えてもう一方は初期値のままにするよう勧めます。どちらの設定も、答えをより真実にするわけではありません。言い回しがどれだけ冒険的かを形づくるだけです。推論モデルの中には、これらのパラメータを固定したり無視したりするものがあり、提供元によって公開するサンプリングの制御も違うので、最終的にはモデル自身の文書が決め手になります。

NeverNo では、API がチャットのリクエストで top_p を、temperature、stop、seed とともに受け付けます。対応するモデルには渡され、そうでないモデルでは省かれます。モデルの一覧には各モデルが対応するパラメータが示されているので、頼る前に確認してください。画像を読み取り、推論するかどうかを選べる Alibaba の無料のプライベートモデル Qwen 3.5 35B は、カタログにあるオープンモデルの一つです。

検閲なし AI チャットのページでは、NeverNo が履歴をブラウザに残したまま率直に答える様子を紹介しています。サンプリングの設定が変えるのは回答の文体であって、絶対的な制限ではありません。未成年者に関わること、本人の同意のない実在の人物に関すること、他の人を深刻に傷つける実際の手助けは行いません。