コンテキストウィンドウ

モデルにはリクエストをまたいだ記憶がありません。メッセージを送るたびに、アプリが会話全体をもう一度送り、モデルは最初から読み直します。ウィンドウに収まっているものはすべてモデルに見えますが、枠の外にあるものは、その回答にとって存在しないのと同じです。ウィンドウは入力と出力で共有されるため、長いプロンプトを送ると返信に使える余地が減ります。多くのモデルは、一回の返信の長さにも別の上限を設けています。添付した画像、ツールの定義、見えない指示も場所を取ります。机にたとえると、小さな机では書類を片づけながら作業することになり、大きな机なら案件の資料を全部広げられます。

ウィンドウが大きいと、長い資料を分割せずに扱えます。たとえば、40ページの契約書、決算説明会の書き起こし、論文の下書き、書き出した表計算、リポジトリ全体などです。ただし代償もあります。読み込むトークンが増えるほど時間がかかり、有料のモデルでは費用も増えます。非常に長い入力は均等に扱われないこともあり、巨大な文章の真ん中に埋もれた細部が見落とされることもあります。大きなウィンドウだからといって、すべての行がうまく活用されるとは限りません。

会話がウィンドウを超えたときは、アプリが方針を選ぶ必要があります。いちばん古いメッセージを削るか短くする、要約に置き換える、あるいはやり直しを求めるといった方法があります。最初の指示と最新のやり取りは残し、その間を圧縮するアプリもあります。別の方法は検索です。書庫ごと貼り付けるのではなく、検索して、質問に関係する部分だけをモデルに渡します。仕組みの細部はアプリごとに違うため、長い作業を始める前に、何が残り何が削られるのかを知っておくと安心です。たとえば、契約書の条項、会議の議事録、研究ノートを扱う場合は、章ごと、見出しごと、時刻ごとに区切ると、各断片がまとまりを保てます。

NeverNo の各モデルにはそれぞれのウィンドウがあり、モデルのページに表示されています。カタログの大半は128,000トークンか200,000トークンで、Claude Haiku 5.5は100,000トークンです。最大は Moonshot のプライベートな推論モデル Kimi K3 の256,000トークンです。長い報告書や文書の束を一つの会話に入れ、全体について質問するのに十分な大きさです。

ChatGPT の代替のページでも、ほかのアシスタントから移る人に向けて同じ考え方を説明しています。長い文書を持ち込み、会話を残し、作業に合ったウィンドウのモデルを選ぶことができます。どのウィンドウにも収まらない大量の資料には、金庫（Vault）が役立ちます。文書は暗号化されたままブラウザに保管され、質問に必要な部分だけが送られます。