Token
Token 是语言模型读写文字的基本单位,可以是一个完整的词、词的一个片段、一个数字或一个标点。模型看到的不是字母或句子,而是一串 token,它能读入和写出的一切内容,都以 token 来计数。
更新于 2026年11月8日
只在你的设备上可读。
对话只在你的设备上可读;开启同步后,其他设备上也可读。别处一概读不到。
我们读不了。
消息只是经过,不会留下记录;你的对话始终只以加密形式保存。
模型不知道你是谁。
它只收到问题,绝不会收到你的邮箱、账户或 IP 地址。
途中什么也不留下。
回复传回后加密保存在这里;即使开启同步,你的密钥也从不以明文到达我们这里。
工作原理
在模型看到你的消息之前,分词器会依据一个包含数万个条目的固定词表,把文字切成小块。常见的词通常是一个 token,罕见的词会被拆成几个,一个很长的专业术语或人名可能占四五个。比如英文单词“unbelievable”可能被拆成“un”“believ”和“able”,而“the”则保持完整。大写字母、重音符号、制表符和末尾的空格,也会改变切分结果。随后,每个 token 会被转换成一串数字,神经网络真正处理的就是这些数字。
切分方式取决于语言,也取决于各个模型自己的分词器。英文平均每个词用的 token 较少,而词形变化丰富或使用其他文字系统的语言,用得往往更多,所以同一句话在日语或阿拉伯语里可能比在英语里花费更多。源代码、很长的数字、表情符号和网址,同样会被打散成许多小片段。不同模型家族的分词器各不相同,因此用某家服务商的工具数出来的结果,对另一个模型只能当作估算。
Token 之所以重要,有三个实际原因。第一,它衡量长度:模型一次能处理的 token 数有上限,一次回复能写出的 token 数也有上限。第二,它衡量费用:服务商通常把读入的 token(输入)和写出的 token(输出)分开计费。计费、延迟、截断和速率限制,都来自同一个计数。无论是总结一次会议、审阅一条租赁条款、修正一个正则表达式,还是翻译一份菜单,这套计数方式都适用。第三,它解释了一些奇怪的现象:按 token 而不是按字母工作的模型,在数一数“strawberry”里有几个“r”,或把一长串字符倒过来这类题目上,可能会出错。字节对编码(BPE)之类的分词算法从单个字节出发,反复合并出现最频繁的相邻字节对,直到得到所需大小的词表;这也解释了为什么常见的音节会成为一个独立条目,而罕见的字符串仍然是零散的碎片。
在 NeverNo 中
在 NeverNo 上,token 体现在每个模型显示的上限里。免费的私密模型 DeepSeek V4 Flash 的上下文窗口为 128,000 个 token,一次回复最多可以写 8,192 个 token,足以让一份长文档和一段长回答出现在同一场对话里。其他模型的空间有大有小,具体数字写在各自的模型页面上。
在 API 里,用量以 token 为单位报告,参数 max_tokens(或 max_completion_tokens)可以限制回复的长度。把文字转成用于检索的向量的嵌入端点,同样按 token 工作。关于 ChatGPT 替代方案的页面,讲解了如何从别的助手迁移过来,并把历史记录保存在你的浏览器里。
值得记住
Token 是一小段文字,通常是一个词或词的一部分,而不是一个字母。
同样的文字,用多少 token 取决于语言和模型。
上限和价格都按 token 计算,你发送的和收到的文字都算在内。
对话越长,每一轮用的 token 越多,因为之前的消息会被重新读一遍。
罕见的人名、代码和非拉丁文字会被拆成更多 token,费用也就悄悄升高。
常见问题
一页文字大约是多少 token?
这取决于语言和分词器。英文里一个 token 平均略少于一个词,所以一封 300 词的邮件大约是 400 个 token,一份二十页的报告则要上万个 token。同样长度的俄语、阿拉伯语或日语文字,通常花费更多。想要精确的数字,可以把样本粘贴到服务商的分词器页面里查看。
为什么上限按 token 而不是按词来定?
因为模型从来看不到词。它收到的是一串 token,所需的内存和计算量也随这串内容的长度增长。数 token,才能衡量真实的工作量,不论是哪种语言。
对话超过 token 上限会怎样?
视应用而定,较早的消息可能被裁剪、总结或丢弃,请求也可能被拒绝。可靠的办法是开一场新对话,开头附上一段简短的摘要。
问出你的第一个问题
无需账户,无需银行卡。NeverNo 会 10 种语言,用哪种写都行。
打开聊天