混合专家模型（MoE）
混合专家模型是一种被拆分成许多专门子网络（称为专家）的神经网络，另有一个路由器，把每个 token 只发给其中的少数几个。由于每个 token 只有模型的一部分在工作，它总体上可以非常大，运行成本却低于同样大小的稠密模型。
更新于 2026年11月8日
只在你的设备上可读。
对话只在你的设备上可读；开启同步后，其他设备上也可读。别处一概读不到。
我们读不了。
消息只是经过，不会留下记录；你的对话始终只以加密形式保存。
模型不知道你是谁。
它只收到问题，绝不会收到你的邮箱、账户或 IP 地址。
途中什么也不留下。
回复传回后加密保存在这里；即使开启同步，你的密钥也从不以明文到达我们这里。
工作原理
在稠密模型里，每个权重都参与每一个 token 的计算。在混合专家模型里，前馈模块被一组专家取代，比如几十个或上百个，一个小型的、学习得到的路由器在每一层为每个 token 选出其中几个。专家们不会变成整齐的行业专家，比如律师或化学家；它们倾向于专精某些 token 模式，这种分工由路由器在训练中学会。所以，公布的规模会给出两个数字：总参数量，以及每个 token 使用的激活参数量。
好处是以小得多的每个 token 计算量，获得接近大得多的稠密模型的质量，因此生成可以又快又便宜。代价同样真实。所有专家依然必须放在内存里，所以所需内存取决于总数，而不是激活的数量。路由必须保持均衡，避免有些专家负载过重而另一些闲置，训练和部署也更复杂。微调也可能更棘手，量化常常与这类模型搭配使用，让它们装进内存。
不要把 35B 或 400B 这样的数字，当作一次回复所用的计算量。对于混合专家模型，两个数字都要问：激活参数量暗示速度和成本，总参数量则暗示知识容量和内存。最近的许多开放权重模型和一些封闭模型是这样构建的，不过开发者并不总是明说。工程师还会谈到负载均衡损失、容量上限，以及每个 token 都要经过的共享专家，这些都是为了让路由保持稳定。在开源模型里，这些设计选择写在技术报告和配置文件中，里面列出了专家的数量、每个 token 选用几个，以及每个专家的大小。
在 NeverNo 中
NeverNo 的目录没有说明哪些模型是混合专家，所以对于具体的模型，请查看开发者自己的文档。目录里写明的都是实用的信息：服务商、套餐、模型是私密还是匿名、上下文长度，以及它是否能看图或推理。
私密模型来自 DeepSeek、GLM、Qwen 和 Mistral 等开放权重系列。Qwen 3.5 35B 是阿里巴巴的一个免费模型，上下文为 128,000 个 token，能看图，也让你选择是否推理。私密指的是由我们因其不保留请求而选定的服务商提供服务，透明度页面明确说明，NeverNo 无法检查它们的服务器。
值得记住
路由器每个 token 只激活少数几个专家，所以每个 token 的计算量比总大小所暗示的要低。
内存仍然取决于总参数量，因为所有专家都必须加载。
专家专精的是 token 的模式，而不是整齐的学科。
比较模型时，总量和激活量这两个数字都要读。
模型的配置文件或技术报告里，写明了专家的数量和每个 token 选用几个。
常见问题
混合专家模型是好几个模型吗？
不是。它是作为一个整体训练出来的一个网络：专家是它各层内部的组成部分，路由器与它们一起训练。你向一个模型发送一个请求，得到一个回答。可以想象一家有许多病区的医院：病人只去需要的病区，但整栋楼都必须配备人手并保持开放。
为什么有些模型同时列出总参数量和激活参数量？
总量表示内存中的大小和模型的容量，激活量则表示每个 token 有多少权重在工作，这决定了速度和成本。要公平比较，两者都很重要。把两个数字都算进去，才能让排行榜保持诚实，因为一个以总规模宣传的模型，运行起来可能和小得多的稠密模型一样轻。
它比稠密模型更好吗？
视情况而定。它往往在单位算力上给出更好的质量，但需要更多内存，也更难运行。稠密模型更简单，在小尺寸时可能是更好的选择。稠密模型更容易微调、量化和调试，所以许多小型和中型的发布版本仍是稠密的，而最大的那些依靠专家来让每次回复保持低成本。优势包括更低的延迟和每瓦更高的吞吐量；缺点包括集群的复杂性，以及路由所要求的严谨。
问出你的第一个问题
无需账户，无需银行卡。NeverNo 会 10 种语言，用哪种写都行。
打开聊天