跳到主要内容

Token

Token 是语言模型读写文字的基本单位,可以是一个完整的词、词的一个片段、一个数字或一个标点。模型看到的不是字母或句子,而是一串 token,它能读入和写出的一切内容,都以 token 来计数。

更新于 2026年11月8日

  1. 只在你的设备上可读。

    对话只在你的设备上可读;开启同步后,其他设备上也可读。别处一概读不到。

  2. 我们读不了。

    消息只是经过,不会留下记录;你的对话始终只以加密形式保存。

  3. 模型不知道你是谁。

    它只收到问题,绝不会收到你的邮箱、账户或 IP 地址。

  4. 途中什么也不留下。

    回复传回后加密保存在这里;即使开启同步,你的密钥也从不以明文到达我们这里。

一段对话在 NeverNo 上的路径。详情见透明度页面。

工作原理

在模型看到你的消息之前,分词器会依据一个包含数万个条目的固定词表,把文字切成小块。常见的词通常是一个 token,罕见的词会被拆成几个,一个很长的专业术语或人名可能占四五个。比如英文单词“unbelievable”可能被拆成“un”“believ”和“able”,而“the”则保持完整。大写字母、重音符号、制表符和末尾的空格,也会改变切分结果。随后,每个 token 会被转换成一串数字,神经网络真正处理的就是这些数字。

切分方式取决于语言,也取决于各个模型自己的分词器。英文平均每个词用的 token 较少,而词形变化丰富或使用其他文字系统的语言,用得往往更多,所以同一句话在日语或阿拉伯语里可能比在英语里花费更多。源代码、很长的数字、表情符号和网址,同样会被打散成许多小片段。不同模型家族的分词器各不相同,因此用某家服务商的工具数出来的结果,对另一个模型只能当作估算。

Token 之所以重要,有三个实际原因。第一,它衡量长度:模型一次能处理的 token 数有上限,一次回复能写出的 token 数也有上限。第二,它衡量费用:服务商通常把读入的 token(输入)和写出的 token(输出)分开计费。计费、延迟、截断和速率限制,都来自同一个计数。无论是总结一次会议、审阅一条租赁条款、修正一个正则表达式,还是翻译一份菜单,这套计数方式都适用。第三,它解释了一些奇怪的现象:按 token 而不是按字母工作的模型,在数一数“strawberry”里有几个“r”,或把一长串字符倒过来这类题目上,可能会出错。字节对编码(BPE)之类的分词算法从单个字节出发,反复合并出现最频繁的相邻字节对,直到得到所需大小的词表;这也解释了为什么常见的音节会成为一个独立条目,而罕见的字符串仍然是零散的碎片。

在 NeverNo 中

在 NeverNo 上,token 体现在每个模型显示的上限里。免费的私密模型 DeepSeek V4 Flash 的上下文窗口为 128,000 个 token,一次回复最多可以写 8,192 个 token,足以让一份长文档和一段长回答出现在同一场对话里。其他模型的空间有大有小,具体数字写在各自的模型页面上。

在 API 里,用量以 token 为单位报告,参数 max_tokens(或 max_completion_tokens)可以限制回复的长度。把文字转成用于检索的向量的嵌入端点,同样按 token 工作。关于 ChatGPT 替代方案的页面,讲解了如何从别的助手迁移过来,并把历史记录保存在你的浏览器里。

值得记住

  1. Token 是一小段文字,通常是一个词或词的一部分,而不是一个字母。

  2. 同样的文字,用多少 token 取决于语言和模型。

  3. 上限和价格都按 token 计算,你发送的和收到的文字都算在内。

  4. 对话越长,每一轮用的 token 越多,因为之前的消息会被重新读一遍。

  5. 罕见的人名、代码和非拉丁文字会被拆成更多 token,费用也就悄悄升高。

常见问题

一页文字大约是多少 token?

这取决于语言和分词器。英文里一个 token 平均略少于一个词,所以一封 300 词的邮件大约是 400 个 token,一份二十页的报告则要上万个 token。同样长度的俄语、阿拉伯语或日语文字,通常花费更多。想要精确的数字,可以把样本粘贴到服务商的分词器页面里查看。

为什么上限按 token 而不是按词来定?

因为模型从来看不到词。它收到的是一串 token,所需的内存和计算量也随这串内容的长度增长。数 token,才能衡量真实的工作量,不论是哪种语言。

对话超过 token 上限会怎样?

视应用而定,较早的消息可能被裁剪、总结或丢弃,请求也可能被拒绝。可靠的办法是开一场新对话,开头附上一段简短的摘要。

问出你的第一个问题

无需账户,无需银行卡。NeverNo 会 10 种语言,用哪种写都行。

打开聊天