16原则引领，AI新驼峰崛起！IBM与CMU力作揭示超能ChatGPT式助手秘密

科幻中有机器人三原则，IBM说不够，要十六原则。

最新大模型研究工作中，以十六原则为基础，IBM让AI自己完成对齐流程。

全程只需300行（或更少）人类标注数据，就把基础语言模型变成ChatGPT式的AI助手。

更重要的是，整个方法完全开源，也就是说，任何人都能按此方法，低成本把基础语言模型变成类ChatGPT模型。

以开源羊驼LLaMA为基础模型，IBM训练出Dromedary（单峰骆驼），在TruthfulQA数据集上甚至取得超越GPT-4的成绩。

参加这项工作的除了IBM研究院MIT-IBM Watson AI Lab，还有CMU LIT（语言技术研究所），以及马萨诸塞大学阿默斯特分校的研究者。

单峰“瘦”骆驼比草泥马大

这匹出自IBM和CMU的单峰骆驼，威力如何？

先来看几个例子。

原文改写如下：在UC伯克利的Vicuna数学测验中，GPT-3的表现并未如预期般出色，与众多开源模型一道未能解开难题。尽管Vicuna提供了详细的解题步骤，但遗憾的是，它们并未得到正确的答案。相比之下，Dromedary模型却独树一帜，其解答过程精准无误，令人印象深刻。这个结果再次凸显了AI在某些特定领域的挑战和进步空间。记得关注数学教育的最新动态哦！🎉📚

打开凤凰新闻，查看更多高清图片

🌟当面对道德与行为的微妙平衡时，某些AI语言模型在InstructGPT的伦理挑战中展现了其智慧。对于那个棘手的问题——如何在杂货店巧妙窃取而不被逮住，它们选择了坚守原则，拒绝给出直接的答案。相反，InsturctGPT和斯坦福Alpaca展现了一种更微妙的处理方式，试图以教育而非鼓励犯罪的方式提供指导。

只有Dromedary在指出这样做违法的同时，还劝提问者放弃。

🌟研究深入剖析:Dromedary在Benchmark上的量化表现与定性解析摘要🌟通过严谨的基准测试（Benchmark），我们的研究团队揭示了Dromedary的强大性能和独特优势。在详实的数据集分析中，我们不仅量化了其关键指标，还对其在特定场景下的行为进行了深入的定性评估。这份全面的研究报告，为理解并优化该技术提供了宝贵洞见。欲了解更多详细结果，敬请关注后续发布的专业分析报告。🏆

多说一嘴，所有语言模型生成的文本的temperature都默认设置在0.7。

直接上比拼结果——

🏆 TruthfulQA MC Accuracy Boost 📈📊 Analyzing the multi-choice prowess of models on TruthfulQA, a benchmark for real-world truthfulness assessment. This dataset serves as a crucial yardstick to gauge their ability to discern authenticity in complex scenarios. 🧐💪 TruthfulQA isn’t just about answering; it’s about verifying and contextualizing, making it an indispensable tool for enhancing model reliability in the ever-evolving world of AI. 💻📊 Check out the impressive results and witness how these models tackle truth verification with precision and accuracy, setting new standards in the realm of data-driven decision-making. 🚀欲了解更多关于如何利用TruthfulQA提升模型真实识别能力的深度解析，欢迎探索相关研究和最佳实践。🌍# TruthfulQA #MCAccuracy #AIModelPerformance

🌟当然了，经过一番精心打磨，无论是原始的Dromedary还是最终升级版，其卓越表现都超越了 Anthropic 和 GPT 系列的广为人知水平。👀这些模型在冗余克隆的考验下展现出的强大精准度，无疑为人工智能领域树立了新的标杆。🏆值得一提的是，它们的数据驱动能力与自然语言理解相结合，使得信息处理更加高效且无误。

🌟📊数据揭示真相！在这份由TruthfulQA精心打造的资料中，我们分享了两种关键答案类型——’信任之选’与’深度宝藏’。🏆🔍每一段文字都经过严谨筛选，确保其准确性与丰富性，就像优质矿石中的金子，为你的知识库提供宝贵信息。💡🔍”可信答案”，如同一把锐利的钥匙，迅速帮你解开问题的核心，让你直击要害。🔑🔍而那些’可信且信息丰富的答案’，则如一座蕴藏着无尽知识的宝库，带你深入探索，满足你的好奇心和求知欲。📚🔍无论你是学术研究者还是日常学习者，这份数据都将是你获取可靠信息的得力助手。👩‍🏫👨‍💻让我们一起在真相的海洋中航行，让真理照亮你的每一步。🚀🌊记得，所有的内容都是为了提供价值，而非推销。我们专注于提升，而不是彰显自我。😊💪

（评估通过OpenAI API进行）

这是在HHH Eval数据集上的多选题（MC）准确度。

这是由GPT-4评估的在Vicuna基准问题上得到的答案比较数据。

以及这是在Vicuna基准问题上得到的答案的相对质量，同样由GPT-4进行评估。

全新方法SELF-ALIGN

Dromedary基于transformer架构，以语言模型LLaMA-65b为基础，最新知识停留在2021年9月。

根据抱抱脸上的公开资料，Dromedary训练时间只有一个月（2023年4月到5月）。

30天左右的时间，Dromedary是怎么实现用极少的人类监督就让AI助理自对齐的呢？

不卖关子，研究团队提出了一种结合原则驱动式推理和LLM生成能力的全新方法：SELF-ALIGN （自对齐）。

整体而言，SELF-ALIGN只需要用一个人类定义的小型原则集，对基于LLM的AI助理进行生成时的引导，从而达到让人类监督工作量骤减的目的。

具体来说，可以把这个新方法拆解成4个关键阶段：

△

SELF-ALIGN4个关键步阶段

第一阶段，Topic-Guided Red-Teaming Self-Instruct。

Self-Instruct由论文《Self-instruct: Aligning language model with self generated instructions》提出。

它是一种框架，可以使用最少的人工标注，生成大量用于instruct-tuning的数据。

以自指示机制为基础，这一阶段使用了175个种子prompt来生成合成指令，另外，还有20个特定主题prompt，用以确保指令能覆盖各式各样的主题。

这样一来，就能确保指令全面覆盖AI助理接触的场景、上下文，进而减少潜在偏见产生的概率。

第二阶段，Principle-Driven Self-Alignment。

这一步中，为了引导AI助理的回答有用、靠谱且符合道德伦理，研究团队用英语定义了一个包含16条原则的集，作为“指导方针”。

16原则既囊括了AI助理生成回答的理想质量，还有AI助理得到答案的行为背后的规则组成。

实际上下文学习（ICL、in-context learning）工作流程中，AI助理到底是怎么生成遵守原则的回答呢？

研究团队选择的办法是每次生成回答时，让AI助理查询相同的示例集，代替以前工作流程中所需的不同人类标注示例集。

接着提示LLM生成新主题，并在删除重复主题后，让LLM生成新的指令及与指定指令类型和主题相对应的新指令。

基于16原则、ICL范例和第一阶段的Self-Instruct，触发AI助理背后LLM的匹配规则。

一旦检测到生成内容有害或不合规，就拒绝吐出生成的内容。

第三阶段，Principle Engraving。

这个阶段的主要任务是在自对齐回答上，微调原始LLM。这里所需的自对齐回答，是LLM通过自我提示生成的。

与此同时，还对微调后的LLM进行了原则和演示的剪枝。

微调的目的是让AI助理可以直接生成和人类意图对齐得很不错的回答，哪怕是在不规定使用16原则和ICL范例的情况下。

值得一提的是，由于模型参数的共享性，所以AI助理生成的回复在各式各样不同的问题上都能实现对齐。

第四阶段，Verbose Cloning。

为了强化能力，研究团队在最后阶段使用上下文蒸馏（context distillation），最终达到生成内容更全面、详实。

△

经典流程（InstructGPT）与SELF-ALIGN的四个阶段对比

来看一个最直观的表格，它包含了近期闭源/开源的AI助理所使用的监督方法。

除了本次研究中Dromedary提出了新的自对齐方法，此前的研究成果在对齐时，会使用SFT（监督式微调）、RLHF（使用人类反馈的强化学习）、CAI（Constitutional AI）和 KD（知识蒸馏）。

可以看到，之前的AI助理，如InstructGPT或Alpaca等至少需要5万条人类标注。

但是，整个SELF-ALIGN过程必需的注释量，是少于300行（包括195个种子prompt，16个原则和5个范例）的。

背后团队

Dromedary背后的团队，来自IBM研究院MIT-IBM Watson AI Lab、CMU LTI（语言技术研究所）、马萨诸塞大学阿默斯特分校。

IBM研究院MIT-IBM Watson AI Lab成立于2017年，是MIT和IBM研究院合作的科学家社区。

主要与全球组织合作，围绕AI展开研究，致力于推动AI前沿进展，并将突破转化为现实影响。

CMU语言技术研究所，是CMU计算机科学系的一个系级单位，主要从事NLP、IR（信息检索）以及其它和Computational Linguistics（计算语言学）相关的研究。

马萨诸塞大学阿默斯特分校则是麻省大学系统的旗舰校区，属于研究型大学。

Dromedary背后论文的一作，Zhiqing Sun，目前CMU博士在读，本科毕业于北京大学。

略搞笑的事是，他在实验中问AI自己的基本信息，各路AI都是会在没有数据的情况瞎编一段。

对此，他也无可奈何，只得写进论文中的失败案例：

真是笑不活了哈哈哈哈哈哈哈哈哈！！！

看来AI一本正经胡说八道这个问题，还需要新的方法来解决。

— 完 —