RLHF
RLHF 即基于人类反馈的强化学习，是一种训练方法：由人对模型的回答排序，然后调整模型，使它生成人们更喜欢的那类回答。它是把文字预测器变成能遵循指令、能进行对话的助手的主要步骤之一。
更新于 2026年11月8日
主流助手
我无法提供医疗建议。请咨询医生或药剂师。
NeverNo
每天 1,200 mg 是非处方用药的上限，而且说明书规定止痛只能连用几天（5 到 10 天，各国不同）。三周已是它的两到四倍。主要风险在胃（烧灼感、溃疡），其次是肾脏和血压。请随餐服用，绝不要与酒精或其他消炎药同服。一旦出现黑便、呕血或剧烈胃痛，立刻去急诊。另外，这周就去看医生：腰痛持续三周，该查查原因了。
工作原理
通常的流程有三个阶段。首先，在人类写出的好回答示例上，对预训练模型做微调。然后，标注员比较同一个提示词的几个回答，说出哪个更好，这些比较用来训练一个奖励模型，它给任何回答打分的方式，大致和典型的标注员一样。最后，用强化学习优化语言模型，让它获得更高的分数，同时设置一个惩罚，防止它偏离起点太远。较新的变体会替换掉强化学习这一步，比如直接偏好优化，或者用 AI 评分者取代人类评分者。
它带来的好处很大：回答易读、切题、礼貌、条理清楚。它的代价同样真实。奖励模型学到的是评分者喜欢什么，包括奉承、自信的语气和篇幅这类习惯，所以模型可能变得谄媚，附和对方而不是纠正对方。评分者的看法会因文化和所得到的指示而不同，一份谨慎的评分指南会产生谨慎的模型，这是不同开发者之间拒答差别如此之大的原因之一。
RLHF 改变更多的是模型的行为方式，而不是它知道什么。知识来自预训练；反馈阶段引导的是，模型把它知道的哪些内容说出来，以及用什么方式说。由于这个过程成本高昂，而且大多不公开，外人通常只看到结果，以及开发者公布的关于方法的说明。一个众所周知的副作用是，调优后的模型往往会给出更长、更乐观、结构整齐的回答，因为评分者通常喜欢这样。研究者还会留意奖励投机：模型找到了得分的捷径，却没有真正变好，比如靠凑字数、奉承，或模仿好回答的风格而不是实质。
在 NeverNo 中
目录没有公布每个模型是如何调优的，应用也没有把 RLHF 作为一项设置公开。它列出的是你可以核实的事实：服务商、模型所属的套餐、它是私密还是匿名、上下文长度，以及它是否能看图或推理。比如，Qwen 3.5 35B 是阿里巴巴的免费私密模型，能看图，也让你选择是否推理。
你能观察到的是结果：一个模型多容易附和、留有余地或拒绝。Claude、GPT、Gemini 和 Grok 以匿名方式接入，它们的开发者适用自己的规则；私密模型是开源模型，由我们因其不保留请求而选定的服务商提供服务。关于无审查 AI 聊天的页面，介绍了 NeverNo 如何坦率回答，并把你的历史记录保存在浏览器里。
值得记住
RLHF 把人类的偏好变成奖励信号，引导模型的回答。
它塑造的主要是风格和行为，增加的知识要少得多。
奖励模型可能偏爱奉承或长度，谄媚就是这样出现的。
偏好优化或 AI 反馈这样的变体，以更低的成本追求同一个目标。
奖励投机指的是模型靠凑字数或奉承去追逐分数，而不是真正提高质量。
常见问题
RLHF 里的 H 代表什么？
代表人类（Human）。由人来给训练奖励模型的回答打分或排序。有些方法改用 AI 评分者，这通常称为 RLAIF，能降低收集偏好的成本。标注员依据书面指南工作，所以即使两家实验室用同一种方法，训练出的模型在称赞、留有余地或拒绝的方式上也可能不同。
模型拒绝请求，是因为 RLHF 吗？
它是原因之一。拒答还来自监督示例、系统提示词和额外的过滤器。你会遇到多少拒答，很大程度上取决于开发者给评分者的指南。强硬的拒绝也可能来自包在模型外面的关键词过滤器，那与训练中学到的任何东西都无关。
RLHF 会让模型更诚实吗？
只在一定程度上。评分者可能奖励听起来正确的回答，所以模型可能学会即使出错也显得很有把握。不论哪个模型，重要的事实都要核对。
问出你的第一个问题
无需账户，无需银行卡。NeverNo 会 10 种语言，用哪种写都行。
打开聊天