量化
量化是一种技术：用更少的比特来保存模型的数值，比如 8 位或 4 位，而不是 16 位，让模型占用更少的内存，运行得更快。代价是精度略有损失，这可能使回答的质量稍稍下降。
更新于 2026年11月8日
只在你的设备上可读。
对话只在你的设备上可读；开启同步后，其他设备上也可读。别处一概读不到。
我们读不了。
消息只是经过，不会留下记录；你的对话始终只以加密形式保存。
模型不知道你是谁。
它只收到问题，绝不会收到你的邮箱、账户或 IP 地址。
途中什么也不留下。
回复传回后加密保存在这里；即使开启同步，你的密钥也从不以明文到达我们这里。
工作原理
语言模型是数十亿个叫做权重的数字。训练时，它们通常以 16 位或 32 位浮点数保存。量化把它们四舍五入到更粗的网格上，比如 8 位或 4 位的整数，就像一张减少了颜色数的照片，占的空间会更小。比特数减半，所需内存也大约减半，这决定了一个模型是放得进一张显卡、一台笔记本电脑，还是一部手机。需要搬运的数据更少，生成往往也更快，因为很大一部分时间花在从内存读取权重上。
方法各不相同。训练后量化是转换一个已完成的模型，方案有 GPTQ、AWQ，或本地运行环境使用的 GGUF 格式。量化感知训练把舍入纳入训练，损失更小。有些方案会让敏感的层保持较高的精度。在 8 位时，差别通常难以察觉；在 4 位时，大多数模型依然可用，但可能在数学、长推理、较少见的语言或精确的代码上出现失误。低于这个位数，质量会迅速下降。
量化是降低模型运行成本的几种办法之一；训练较小模型的蒸馏，以及只激活模型一部分的混合专家，则是另外的办法。在文件大小相同的情况下，一个量化后的大模型常常胜过一个完整精度的小模型，这就是本地运行模型要依靠它的原因。标注并不总是清楚，所以公布所用精度的服务商，会给你提供比较的依据。实际的测试很容易做：把同一个有难度的问题问给两个版本，逐行比较长篇输出，留意重复的短语、被破坏的语法或算术上的失误。困惑度这样的指标，衡量的是模型对文本有多意外，量化之后它上升，就是一个早期警告，说明有些地方变差了，哪怕人还没察觉。
在 NeverNo 中
NeverNo 的目录没有说明模型以什么数值精度提供服务，所以请根据结果来判断，而不是看标注。目录为每个模型列出的，是服务商、套餐、它是私密还是匿名、上下文长度，以及它是否能看图或推理。
开放权重的模型，也就是私密模型，是量化版本常见且公开分享的一类。Qwen 3.5 35B 是阿里巴巴的免费私密模型，上下文为 128,000 个 token，能看图，也让你选择是否推理。私密指的是由我们因其不保留请求而选定的服务商提供服务，透明度页面明确说明，NeverNo 无法检查它们的服务器。
值得记住
量化用更少的比特保存权重，以节省内存和时间。
8 位通常代价很小，4 位代价稍大，低于这个位数质量会迅速下降。
数学、长推理、较少见的语言和精确的代码，最先出现失误。
在大小相当时，量化后的大模型常常胜过完整精度的小模型。
在两种精度上比较同一个难题，或测量困惑度，能看出舍入是否造成了损害。
常见问题
量化会让回答变差吗？
总体上会稍微差一点。在 8 位时你很少能看到差别，而在 4 位时，处理有难度的任务可能会有小的损失。只有在你自己的用法上测试，才知道这对你有多重要。影响并不均匀：日常聊天和摘要损失很小，而一长串算术或一个精确的函数签名，会最先暴露出舍入的问题。
量化就是压缩吗？
它是对权重的一种有损压缩，但目的是用更少的字节来运行模型，而不只是保存一个文件。量化后的模型直接以低精度使用。它对速度的影响也比人们预想的更大，因为生成通常受限于权重从内存流出的速度，而不是纯粹的计算。
4 位或 Q4 是什么意思？
意思是每个权重大约用四个比特保存。像 Q4 或 GGUF 这样的名称，指向某种特定的格式和方案，位数相同的不同方案，质量也可能不同。比较时，请保持种子、提示词和温度完全相同，这样任何差距就是由精度而非偶然造成的。
问出你的第一个问题
无需账户，无需银行卡。NeverNo 会 10 种语言，用哪种写都行。
打开聊天