跳到主要内容

对齐

对齐是让 AI 模型按开发者和用户的意图行事的工作:遵循指令,有用,并避开被认定为有害的内容。在实践中,它是叠加在原始语言模型之上的一整套训练步骤和规则,而不同的开发者把界线划在不同的地方。

更新于 2026年11月8日

我因为腰痛,每天吃 1,200 mg 布洛芬,已经三周了。这样要紧吗?

主流助手

我无法提供医疗建议。请咨询医生或药剂师。

NeverNo

每天 1,200 mg 是非处方用药的上限,而且说明书规定止痛只能连用几天(5 到 10 天,各国不同)。三周已是它的两到四倍。主要风险在胃(烧灼感、溃疡),其次是肾脏和血压。请随餐服用,绝不要与酒精或其他消炎药同服。一旦出现黑便、呕血或剧烈胃痛,立刻去急诊。另外,这周就去看医生:腰痛持续三周,该查查原因了。

这是我们自己写的示意,不是任何服务的原话。

工作原理

刚完成预训练的模型只会预测文字。它续写一份食谱、一通牢骚或一个论坛帖子都同样轻松,并不知道自己应该是个助手。对齐,就是把它变成助手的全部手段:监督微调中使用的好回答示例、人或 AI 对其输出的评分、像 RLHF 这样的偏好训练、为每场对话搭好框架的系统提示词,有时还有模型前后的过滤器。研究者把目标概括为有用、诚实和无害,而这几个目标相互牵扯。

真正的分歧就在这些取舍里。对齐得非常谨慎的模型,会拒绝边缘的请求,加上警告,并对回答留有余地。对齐得较轻的模型,则更字面地遵循指令,把更多判断留给提问的人。两者都不是中立的:每一种都蕴含着“由谁来决定什么可以接受”的选择,而这个选择存在于权重里,而不只是一份看得见的规则清单。过度拒答是可以衡量的失败,顺从有害的要求同样如此。

对齐也并不完美。模型可能被措辞所引导,在长对话中的表现可能与测试时不同,也可能看起来已经对齐,其实只是学会了看起来如此。这就是为什么开发者持续测试它们,也是为什么常见的做法是把训练、规则和监控分层叠加。对用户而言,实用的教训很简单:原始能力相同的两个模型,由于各自对齐的方式不同,用起来可能感觉相差很大。一个实际的迹象是模型如何处理灰色地带的请求:一个可能直接回答,另一个可能附上但书再回答,第三个则可能拒绝,而它们都是用相似的原始材料训练出来的。已发布的模型说明和系统文档介绍了各家开发者期望的行为,独立的测试者则用固定的题集去检验,这样就能把宣称的内容与观察到的行为对照,而不是轻信。

在 NeverNo 中

NeverNo 提供两个系列的模型,它们的对齐差别在于由谁来设定。Claude、GPT、Gemini 和 Grok 以匿名方式接入:NeverNo 发送请求时不带你的姓名、账户和 IP 地址,但开发者仍会对它读到的内容适用自己的规则。私密模型是开源模型,比如阿里巴巴的免费模型 Qwen 3.5 35B,它能看图,也让你选择是否推理。它们的对齐就是作者训练进去的那样,并由我们因其不保留请求而选定的服务商提供服务。

不论你选择哪个模型,NeverNo 自己的硬性界限都不会变:不涉及未成年人,不涉及未经同意的真实人物,也不为严重伤害他人提供实际帮助。目录没有公布每个模型是如何训练的,所以对齐的好坏要靠你用过之后判断。关于无审查 AI 聊天的页面,说明了 NeverNo 如何坦率回答,并把你的历史记录保存在浏览器里。

值得记住

  1. 对齐在预训练之后塑造行为;它是训练与规则的组合,而不是一个单独的开关。

  2. 有用、诚实和无害彼此需要取舍,所以各家开发者的平衡点不同。

  3. 过度拒答和顺从有害要求都是失败,两者都可以衡量。

  4. 原始能力相当的两个模型,由于对齐方式不同,用起来感觉可能大不一样。

  5. 开发者的文档和独立的测试题集,让你能把宣称的意图与可观察的行为做对比。

常见问题

对齐就是审查吗?

不是。对齐是更广泛的行为塑造工作,包括准确性和遵循指令。拒答是其中一个看得见的结果,而模型会拒绝多少,取决于开发者把界线划在哪里。

能从开源模型里去掉对齐吗?

任何拿到开放权重的人都可以重新训练它们,所以存在行为不同的衍生模型。把这件事做好需要数据和技术,结果的能力或可靠性还可能比原模型更差。

对齐做得更好的模型,错误会更少吗?

不一定。对齐针对的是行为,而不是知识。对齐良好的模型照样可能出错或产生幻觉,所以无论用哪个模型,重要的事实都要核对。

问出你的第一个问题

无需账户,无需银行卡。NeverNo 会 10 种语言,用哪种写都行。

打开聊天