跳到主要内容

上下文窗口

上下文窗口是语言模型一次最多能考虑的文字量,以 token 计算。你的指令、到目前为止的对话、你粘贴的文档,以及正在写的回复,都要放进这个窗口里。

更新于 2026年11月8日

  1. 只在你的设备上可读。

    对话只在你的设备上可读;开启同步后,其他设备上也可读。别处一概读不到。

  2. 我们读不了。

    消息只是经过,不会留下记录;你的对话始终只以加密形式保存。

  3. 模型不知道你是谁。

    它只收到问题,绝不会收到你的邮箱、账户或 IP 地址。

  4. 途中什么也不留下。

    回复传回后加密保存在这里;即使开启同步,你的密钥也从不以明文到达我们这里。

一段对话在 NeverNo 上的路径。详情见透明度页面。

工作原理

模型在两次请求之间没有记忆。每次你发送消息,应用都会把整段对话重新发送一遍,模型从头读起。窗口里放得下的内容,模型都能看到;窗口之外的内容,对这次回答来说就根本不存在。窗口由输入和输出共用,所以很长的提示会给回复留下更少的空间,许多模型还会为单次回复的长度另设一个上限。图片附件、工具定义和隐藏的指令也会占用空间。可以把它想成一张书桌:小桌子逼你把文件收起来,大桌子则能摊开整个案卷。

窗口越大,就越能处理长篇材料,而不必把它切成小块:比如一份四十页的合同、一次季度财报电话会、一篇论文初稿、一份导出的表格,或者一整个代码仓库。但它也有代价。读入的 token 越多,耗时越长,使用付费模型时花费也更多。模型处理超长输入时还可能不均衡,埋在巨大文本中间的细节有时会被漏掉,所以大窗口并不能保证每一行都被充分利用。

当对话超出窗口时,应用必须做出选择。它可以删掉或缩短最早的消息,用摘要来替代,或者请你重新开始。有些应用会保留开头的指令和最近的几轮,把中间的部分压缩。另一种办法是检索:不把整个资料库都贴进去,而是先搜索,只把与问题相关的段落交给模型。滑动窗口注意力、旋转位置编码和键值缓存等架构技巧,让工程师能把窗口扩展到数十万个位置,不过随着提示变长,内存占用和延迟仍会不断上升。

在 NeverNo 中

NeverNo 上的每个模型都有自己的窗口,显示在它的页面上。目录里的大多数模型是 128,000 或 200,000 个 token,Claude Haiku 5.5 是 100,000,最大的是 Moonshot 的私密推理模型 Kimi K3,有 256,000 个 token。这足以把一份长报告或一叠文档放进同一场对话,并就整体提问。

关于 ChatGPT 替代方案的页面,也为从别的助手迁移过来的人讲了同样的思路:带来一份长文档,保留对话,再挑一个窗口大小合适的模型。对于任何窗口都装不下的大量资料,保险箱(Vault)会把文档加密保存在你的浏览器里,只发送问题所需的段落。

值得记住

  1. 窗口以 token 计算,同时涵盖指令、历史、文档和回复。

  2. 模型看不到窗口之外的任何东西,所以较早的内容必须缩短、总结或通过检索取回。

  3. 窗口更大,对长篇材料更有用,但速度会变慢,中间的细节仍可能被漏掉。

  4. 大小因模型而异:在 NeverNo 上从 100,000 到 256,000 个 token 不等。

  5. 输出也要计入:提示若几乎填满窗口,留给回答的空间就所剩无几。

常见问题

上下文窗口就是模型的记忆吗?

不完全是。它是单次请求的工作空间。模型事后不会保留任何东西,应用每次都会重新发送对话。长期记忆功能是另一回事,只是把简短的笔记加进同一个窗口。

模型能充分利用整个窗口吗?

不一定。输入特别长时注意力会被稀释,放在中间的事实可能被忽略。把关键问题和必要段落清楚地交代出来,并要求引用原文,会有帮助。“大海捞针”类基准测试检验的正是这个弱点。

文档比窗口还大,该怎么办?

可以把它拆开,逐部分总结,或者使用检索:给文档建立索引,搜索与你的问题相关的段落,只把这些段落交给模型。“检索增强生成”词条详细介绍了这种方法。需要拆分材料时,按章节、小标题或时间戳来切,每一块都能保持连贯。

问出你的第一个问题

无需账户,无需银行卡。NeverNo 会 10 种语言,用哪种写都行。

打开聊天