トークン

モデルがあなたのメッセージを見る前に、トークナイザーが、数万項目からなる固定の語彙表をもとに文章を小さな断片へ切り分けます。よく使われる単語は通常一つのトークンになり、珍しい単語は複数に分かれ、長い専門用語や名前は四つか五つになることもあります。たとえば「unbelievable」は「un」「believ」「able」に分かれ、「the」はそのままです。大文字、アクセント記号、タブ、末尾の空白でも分かれ方は変わります。その後、各トークンは数値のリストに変換され、ニューラルネットワークが実際に処理するのはこの数値です。

分け方は言語やモデルごとのトークナイザーによって異なります。英語の文章は、語形変化が豊かな言語や別の文字体系の言語よりも、1語あたりのトークン数が少なくなる傾向があります。そのため、同じ内容でも日本語やアラビア語のほうが英語より多くのトークンを使うことがあります。ソースコード、長い数字、絵文字、URL も、たくさんの小さな断片に砕かれます。トークナイザーはモデルの系統ごとに違うので、ある提供元のツールで数えた結果は、別のモデルでは目安にすぎません。

トークンが大切な理由は三つあります。第一に、長さの尺度になります。モデルが一度に扱えるトークン数にも、一回の返信で書けるトークン数にも上限があります。第二に、費用の尺度になります。提供元は、読み込んだトークン（入力）と書き出したトークン（出力）を別々に課金するのが普通です。会議の要約でも、賃貸契約の条項でも、正規表現の修正でも、メニューの翻訳でも、課金、待ち時間、途中での打ち切り、利用制限は、すべて同じ数え方から生まれます。第三に、不思議な挙動の説明になります。文字ではなくトークンで動くモデルは、「strawberry」に「r」が何回出てくるかといったパズルや、長い文字列の反転でつまずくことがあります。バイトペア符号化（BPE）などのトークン化アルゴリズムは、1バイト単位から始めて、隣り合う組のうち最も頻繁なものを目標の語彙数に達するまで繰り返し結合します。よく使われる音節が一つの項目になり、珍しい文字列が断片のまま残るのはこのためです。

NeverNo では、各モデルに表示される上限としてトークンが登場します。無料のプライベートモデルである DeepSeek V4 Flash は、コンテキストウィンドウが128,000トークンで、一回の返信で最大8,192トークンまで書けます。長い文書と長い回答を同じ会話に収められる余裕です。ほかのモデルは余裕が大きいものも小さいものもあり、数値は各モデルのページに載っています。

API では、使用量がトークンで報告され、パラメータ max_tokens（または max_completion_tokens）で返信の長さに上限をかけられます。検索のために文章をベクトルへ変換する埋め込みのエンドポイントも、トークンで動きます。ChatGPT の代替のページでは、ほかのアシスタントから移行して履歴をブラウザに残す方法を説明しています。