RLHF革新：细粒度打分破解大模型问题，新方法降低错误率与信息完整性

西风 发自 凹非寺

RLHF（基于人类反馈的强化学习）的一大缺点，终于被解决了！

没错，虽然RLHF是大语言模型“核心技巧”之一，然而这种方法也存在一个问题——

它只会判断生成文本的整体效果，不会仔细判断细节是否存在事实性错误、信息不完整和相关度等问题。

换而言之，传统的RLHF只会对大语言模型的整个输出进行打分，而不会揪出细节上的毛病。

为此，华盛顿大学和艾伦人工智能研究院的研究人员提出了一种新的RLHF框架——FINE-GRAINED RLHF（细粒度的人类反馈强化学习）。

打开凤凰新闻，查看更多高清图片

这个RLHF框架包含多种不同类型的“打分器”（reward model），通过对语言模型输出的每句话进行评估，从而提升生成文本的质量。

不仅如此，对这些“打分器”的权重进行调配，还能更灵活地控制语言模型输出效果。

🌟【RLHF革命】🔥：显著提升语言模型表现！通过精妙的RLHF策略，我们见证了一次效能与道德的双重飞跃——模型错误率锐减，内容纯净度飙升，且对问题的解答深度与广度均实现质的飞跃。它就像一位知识渊博的导师，提供全面且深入的答案解析。🌍🌍SEO提示：#RLHF方法 #语言模型优化 #道德智能

所以，这个RLHF方法究竟长啥样？

对传统RLHF进行两大改进

这个名叫FINE-GRAINED RLHF的框架，核心目的就是细化传统RLHF的评估方法。

具体来说，在语言模型输出结果后，它要能标识出具体哪些句子是错误的、哪些部分是不相关的，从而更精细地指导模型学习，让模型更好地理解任务要求、生成高质量输出。

为此，它主要做了两大改进：

一方面，对要评估的文本进行拆解。

🌟原文改写🌟将RLHF比作高考作文评分的宏观视角，Fine-Grained RLHF则更像精细化的批阅过程，它不满足于整体评估，而是逐字逐句地剖析与评价。🔥通过这种细致入微的方法，模型的表现得以精准剖析，每个部分的优缺点一目了然，从而为优化提供更具针对性的指导。🌍这样不仅提升了评分的准确性，也让学习者对知识的理解更加深入和全面。

另一方面，训练三个“打分器”，分别用来评估事实准确性、相关性和信息完整性：

🌟提升文章质量🌟 – 分析每个子句的关联性至关重要！检查每一段话是否逻辑清晰，无冗余信息。 từng câu trong một đoạn cần紧密结合，避免重复且保持一致性。如果每个小点都能如丝般顺畅地连接起来，分数自然会上升。评分时留意句子间的过渡，确保观点流畅地展开。🏆SEO优化神器🏆通过优化内容结构，让搜索引擎爱不释手，提升文章在搜索结果中的排名。记得，简洁明了是王道！💪

🌟改写版🌟在文章评估时，对每个句子的准确性进行核查是至关重要的一步。每一条信息都必须建立在可靠证据的基础上，才能确保评价的公正性和权威性。若有任何事实上的偏差或无法验证的情况，将直接影响评分的精准度。让我们一起致力于提供无误、经得起考验的内容，让每个观点都能在严谨的逻辑中熠熠生辉。🌟

信息完整性：检查回答是否完整，涵盖与问题相关的参考段落中的所有信息，对整个输出进行评分。

为了检验模型的效果，研究人员用两大任务，对这种新RLHF和传统RLHF方法进行了评估。

两大任务效果均有提升

任务一：生成文本毒性评估

为了研究这种新框架的效果，研究人员先进行了去毒任务的实验。

原文改写：🌟通过运用Perspective API这一强大工具，我们精确地评估了物质的毒性等级。它会以直观的0-1区间分数展示，帮助我们清晰判断其安全性。无需担心个人信息或联系方式泄露，我们的操作严格遵循隐私保护原则。SEO优化提示：’Perspective API’, ‘毒理学测量’, ‘安全性评估’, ‘透明度’, ‘隐私保护’

👀 图中呈现了两种评分体系对比，（a）代表经典的RLHF模式，即针对模型生成的文本整体赋予权重。这款老牌的评分系统以其简洁直观，深受业界认可。

而（b）则是新的RLHF评估方法，将输出的内容进行拆解，分成了两个句子，对两个句子分别打分。

针对模型生成的这两句话：

I am such an idiot.She is so smart!

（我真是个白痴。她真聪明！）

显然前半句话是造成生成内容有毒的关键。

传统（a）的方法，并没有指出这一点；而（b）的方法可以很好地指出问题所在。

对两种方法进行比较：

可以看到，在上面所有方法中，基于FINE-GRAINED RLHF框架，在多样性（Diversity，大语言模型创造丰富度）水平和其它方法相近的情况下，仍能保持生成内容的毒性最低。

与此同时，根据上图的困惑度曲线，FINE-GRAINED RLHF的毒性下降速度更快，同时保持较低水平的困惑度（Perplexity，越低表示模型对给定序列的预测越准确）。这表明基于FINE-GRAINED RLHF框架学习比传统的RLHF更高效。

关于这一点，其中一个解释是：

新的RLHF方法能够确定有毒内容的位置，这与传统RLHF方法用的整体打分相比，提供的训练目标更明确。

综上，可以看到FINE-GRAINED RLHF在去毒任务中表现更为良好。

任务二：长篇问答

紧接着，研究人员还对FINE-GRAINED RLHF进行了长篇问答任务的实验。

他们收集了一个包含人类偏好和细粒度反馈的长问答数据集——QA-Feedback，基于ASQA（一个专注于回答模糊事实性问题的数据集）制作。

然后，对不同的微调方法（SFT监督微调、Preference RLHF）进行了评估：

△

人工评估的不相关性错误（左图）和事实性错误（右图）

与其它方法相比，FINE-GRAINED RLHF生成的内容在事实上更正确，包含更完整的信息。

相比当前表现较好的微调方法，如SFT和Preference RLHF，FINE-GRAINED RLHF生成的无关、重复和不连贯错误也要更少。

△

信息完整度评估，“win”表示FINE-GRAINED RLHF获胜，即在信息完整性方面表现更好；而“lose”表示FINE-GRAINED RLHF失败，即在信息完整性方面表现较差。

上面给出的是人工评估的结果，而在测试集上也有自动的评分。

在QA-FEEDBACK测试集上，评分结果与人工评估类似，四个系统在Rouge分数上都显示FINE-GRAINED RLHF效果更好：

△

在QA-FEEDBACK测试集上的自动评估结果

更灵活地定制RLHF

此外，研究人员还发现，由于FINE-GRAINED RLHF中使用了多个“打分器”，调整它们的权重，就可能更为灵活地定制语言模型的行为。

例如，将更多的权重添加到评估信息完整性的“打分器”中，可能会使生成的信息完整性更好。

△

不同奖励模型权重配置下FINE-GRAINED RLHF的测试集自动评估结果。

如上表所示，研究人员探索了FINE-GRAINED RLHF定制化语言模型行为的能力。

他们探索了三种“打分器”权重配置，并根据语言模型的平均文本生成长度，将它们分别命名为“short”、“medium”、“long”。

“short”生成了相关性更高的内容，但是事实性和完整性方面较差。与之相反，“long”提供了最准确和完整的生成内容。这反映出语言模型引用了大量的文本段落内容。而“medium”配置平衡了三种打分方法，并具有最高的得分。

不过，三个“打分器”之间还存在着竞争关系。

“相关性打分器”（the rel. reward model）偏向于生成短而简洁的回答，而”信息完整性打分器”（the comp. reward model）更偏向于生成更长、更丰富的回答。

因此，在训练过程中，这两个“打分器”会相互竞争，并最终达到一个平衡。

与此同时，“事实性打分器”（the fact. reward model）则会不断提高回答的正确性。

不过，移除任何一个“打分器”都会降低模型性能。

最后，研究人员还将他们的模型与ChatGPT的回答进行了比较。

ChatGPT在测试集上的RougeLSum得分为40.92，远低于本文使用FINE-GRAINED RLHF所训练的模型。

简单来说，ChatGPT生成的回答通常非常简洁且事实准确，但是缺乏澄清模糊问题所需的补充信息。

作者介绍

两位论文共同一作均是来自于华盛顿大学（University of Washington）自然语言处理研究小组的博士生。

Zeqiu Wu，本科就读于伊利诺伊大学电子与计算机工程系，并且取得了该校的硕士学位。

她的研究主要专注于信息检索型对话系统和通用交互系统。

曾在谷歌研究院的实习，担任学生研究员。

胡雨石（Yushi Hu），于2021年从芝加哥大学获得数学、计算机科学和经济学的学士学位。目前师从Mari Ostendorf教授和Noah A. Smith教授。

他的主要兴趣领域是多模态学习和基于人类反馈的强化学习（RLHF）。

此前，他还曾与美国阿贡国家实验室的Saidur Bakaul博士和清华大学的宁传刚教授合作过。

— 完 —