ChatGPT的横空出世，可能是2022年下半年最引人注目的AI突破，虽然可能不是技术含量最高的。
🎉🔥NeurIPS 2022大热！🔍💡GPT-4神秘面纱即将揭开，新奥尔良城议论纷纷。🌍🚀OpenAI成为全球科技聚焦的璀璨明星，一时间，整个会议厅都被其创新实力所震撼。💡💥关于这款未来语言巨擘的热议，不仅点燃了参会者的好奇心，也让搜索引擎热度飙升。🏆🌐让我们期待这场科技盛宴，看看GPT-4将如何重塑人工智能领域！
🎉🚀【OpenAI震撼发布】文本艺术巨匠升级！🎨🌐 GPT-3.5家族新成员——text-davinci-003震撼登场！🔥🌟引领未来语言革命！这款AI大师级模型，以卓越的`text-davinci-003`身份，正式加入OpenAI的GPT-3系列，开启智能生成新篇章。它可以处理更复杂的指令，创作出深度与广度俱佳的内容，满足你对高质量、长篇幅文字的所有想象。🌍✨🔍相较于前作，它不仅提升了性能，更是将创新推向了新的高度。每一次迭代都是一次技术飞跃，让知识的海洋更加熠熠生辉。🌊💡📣欲感受其非凡才能？立即探索text-davinci-003的世界，体验AI带来的无限可能！👉 [链接] 无需担心联系方式，让我们一起沉浸在文字的艺术殿堂中。👋💖#OpenAI #GPT-3.5 #TextDavinci003 #AI技术革新 #高质量内容
🌟🚀新模型创新升级！基于inclusive GPT架构，我们采用深受好评的强化学习方法，让AI语言紧密贴合人性导向，每一步都倾听并学习于智慧的指引。🎯指令无缝对接，语言流畅度直线上升，为您的每一次交流赋予精准与自然的力量。🌍让技术更贴近生活，让思想在文字中自由翱翔！🌟
🎨達芬奇-003🌟，一款卓越的人工智能🔥，凭借深度强化学习（RLHF）技术，实现了与真实世界的紧密互动。它通过吸收人類示範的精髓，并对高表现模型样本来精益训练，显著提升了创作的精准度和生动性。🚀无需人工干预，它自我优化，为用户提供无与伦比的生成体验。SEO友好的话语中，隐含着创新与智能的力量，让每个字符都熠熠生辉。🌍
🌟🚀ChatGPT，OpenAI的最新力作，引领人工智能新纪元！💡它不仅仅是一个能深度学习、广泛回应的超先进聊天伙伴，更能以智慧和责任感展现自我。💥当面对错误或不合适的问题时，它会诚恳地反馈，挑战无礼的请求，守护对话的纯净与价值。🌍无论学术探索还是日常交流，ChatGPT都将陪伴你，提供精准且有深度的答案，让你的每一次互动都充满惊喜与收获！✨欲了解更多关于这个革命性AI模型的卓越性能和未来潜力，敬请关注我们的最新动态，让ChatGPT为你的知识之旅增添无限可能！🌐SEO优化提示：使用长尾关键词如”ChatGPT AI特性”、”OpenAI对话模型优势”、”人工智能互动体验”等。
🌟🚀ChatGPT：OpenAI安全与实用AI新里程碑🌟🚀🚀最新进展！OpenAI的ChatGPT研究发布，标志着公司在AI系统迭代部署上的又一重大突破，确保了系统的日益安全与效能。💡🔍🌈得益于早期模型如GPT-3和Codex的丰富经验，ChatGPT在RLHF（强化学习中的人类反馈）这一关键领域展现了卓越的学习能力，成功减少了有害及虚假内容的产出，为用户带来更真实、可靠的对话体验。🛡️🛡️🚀安全与进步并行！每一步迭代都彰显OpenAI对人工智能伦理和质量的承诺，ChatGPT无疑将引领行业走向一个更加明智且人性化的未来。🌍🌐欲了解更多ChatGPT的非凡之处，敬请关注我们的最新动态，让AI的力量为您的生活增添智慧与乐趣！👉👉👉
另外，ChatGPT在训练中强调，它是一个机器学习模型，这可能是出于避免前不久谷歌的聊天机器人LaMDA引发的「AI是否有意识」的争议。
当然，ChatGPT也有局限性。
在博客文章中，OpenAI详细介绍了它的局限性，包括有时答案听起来似乎很有道理，但实际上是不正确或无意义的事实。
「解决这个问题是很有挑战性的，因为 (1) 在强化学习训练期间，目前没有保证一定有可靠的来源；(2) 训练模型更加谨慎，会拒绝可能正确回答的问题；(3) 监督训练可能误导模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。」
Open AI表示，ChatGPT 「有时会对有害的指令做出反应或表现出有偏见的行为。我们正在使用API来警告或阻止某些类型的不安全内容，但预计目前会有一些错误的否定和肯定。我们非常愿意收集用户的反馈，帮助我们正在进行的工作，改善这个模型」。
虽然ChatGPT可能还有很多亟待改进的问题，但我们不可否认，在GPT-4登场前，ChatGPT仍然是目前大型语言模型的顶流。
不过，最近的社群中，又有一个新的模型点燃了大家的讨论热情。最关键的是，它还是开源的。
本周， 负责对包括Meta的Make-A-Video在内的闭源 AI系统进行逆向工程的开发人员Philip Wang发布了PaLM + RLHF，这是一种文本生成模型，其行为类似于ChatGPT。
代码地址：https://github.com/lucidrains/PaLM-rlhf-pytorch
该系统结合了谷歌的大型语言模型PaLM和强化学习与人类反馈（RLHF）技术，创建了一个几乎可以完成ChatGPT任何任务的系统，包括起草电子邮件和建议计算机代码。
PaLm + RLHF的力量
自发布以来，ChatGPT因能够生成高清晰度的类人文本，并能以对话方式对用户问题做出回应，因此在科技界掀起了一场风暴。
这虽然是聊天机器人发展初期的重大进步，但人工智能领域的许多拥趸对ChatGPT的封闭性表示担忧。
时至今日，ChatGPT模型仍然是专有的，这意味着公众无法查看其底层代码。只有OpenAI真正知道它的工作原理以及它处理的数据。这种缺乏透明度可能会产生深远的影响，并可能长期影响用户的信任。
许多开发人员一直渴望构建一个开源替代方案，现在，它终于到来了。PaLM + RLHF是专门为Python语言构建的，可以为PyTorch实现。
开发人员可以像训练自回归transformer一样轻松训练 PaLM，然后使用人类反馈训练奖励模型。
和ChatGPT一样，PaLM + RLHF本质上是一种预测单词的统计工具。当从训练数据中输入大量示例时——如来自Reddit的帖子、新闻文章和电子书——PaLM + RLHF会根据诸如周围文本的语义上下文等模式，学习单词出现的可能性。
真有这么完美？
当然，理想和现实之间还存在着不小的差距。PaLM + RLHF看似完美，却也存在各种问题。其中最大的问题就是，人们现在还不能使用它。
要启动PaLM + RLHF，用户需要编译从博客、社交媒体、新闻文章、电子书等各种来源获取的千兆字节文本。
这些数据被提供给经过微调的PaLm模型，该模型将生成几个回应。例如，如果询问模型「经济学的基础知识是什么」，PaLm会给出诸如「经济学是研究……的社会科学」之类的回答。
之后，开发者会请人对模型生成的回答从好到差进行排名，并创建一个奖励模型。最后，排名用于训练「奖励模型」，该模型采用原始模型的回应并按偏好顺序对它们进行排序，过滤出给定提示的最佳答案。
然而，这是一个昂贵的过程。收集训练数据和训练模型本身并不便宜。PaLM有5400亿个参数，即语言模型从训练数据中学习到的部分。2020年的一项研究表明，开发一个只有15亿个参数的文本生成模型的费用高达160万美元。
今年7月，为了训练拥有1760亿个参数的开源模型Bloom，Hugging Face的研究人员耗时三个月，使用了384个英伟达A100 GPU。每个A100的价格高达数千美元，这不是任何普通用户所能承受的成本。
此外，即使完成了对模型的训练，运行PaLM + RLHF大小的模型也不是件易事。Bloom配备了八个A100 GPU的专用PC，而OpenAI的文本生成GPT-3（具有大约 1750 亿个参数）的运行成本约为每年87,000美元。
AI研究人员Sebastian Raschka在一篇关于PaLM + RLHF的文章中指出，扩大必要的开发工作流程也可能是一个挑战。
「即使有人为你提供500个GPU来训练这个模型，你仍然需要处理基础设施并拥有可以处理的软件框架，」他说。「这虽然可行，但目前来看，需要付出很大的努力。」
下一个开源ChatGPT
高昂的费用和庞大的规模都表明，如果没有资金雄厚的企业或个人不厌其烦地训练模型，PaLM + RLHF目前还没有取代ChatGPT的能力。
到目前为止，没有任何关于PaLM + RLHF确切的发布日期。作为参照，Hugging Face训练Bloom花了三个月的时间。相比之下，拥有5400亿参数的PaLM + RLHF可能需要等待6-8 个月的时间才能诞生一个有意义的版本。
好消息是，到目前为止，我们有三个已知的玩家在开发这个开源版ChatGPT的替代方案：
CarperAILAIONYannic Kilcher
CarperAI计划与EleutherAI和初创公司Scale AI和Hugging Face合作，发布第一个可立即运行的、类似ChatGPT的AI模型，该模型经过人类反馈训练。
代码地址：https://github.com/CarperAI/trlx
LAION是为Stable Diffusion提供初始数据集的非营利组织，它还率先开展了一个使用最新机器学习技术复制ChatGPT的项目。
代码地址：https://github.com/LAION-AI/Open-Assistant
LAION旨在打造一个「未来助手」，不仅能写电子邮件和求职信，还能「做有意义的工作、使用 API、动态研究信息等」。它处于早期阶段，但是几周前，一个包含相关资源的项目已在GitHub上线。
而由油管网红、AI研究人员Yannic Kilcher创建的GPT-4chan，更像是「出淤泥而全染」的嘴臭达人。
该模型中的「4chan」是一个美国在线匿名论坛，因网友身份皆为匿名，很多人便无所畏惧，发表各种政治不正确的言论。而Kilcher正式用4chan上的帖子对模型进行训练，其结果可想而知。
与论坛总基调类似，GPT-4chan的回答充斥着种族歧视、性别歧视和反犹太主义。不仅如此，Kilcher还将其底层模型发布到Hugging Face供他人下载。不过在很多AI研究人员的声讨下，官方很快限制了网友对该模型的访问。
在我们期待更多开源语言模型出现的同时，现在我们能做的只有等待。当然，继续免费使用ChatGPT 也是个好主意。
值得注意的是，在任何开源版本正式登场之前，OpenAI在开发方面仍遥遥领先。而2023年，GPT-4无疑是全世界AI爱好者翘首以盼的对象。
无数AI大佬都对其做出了自己的预测，这些预测或好或坏，但就像OpenAI首席运营官Sam Altman所言：「通用人工智能的建成会比大多数人想象得更快，并且它会改变大多数人想象中的一切。」
参考资料：
https://www.wired.com/story/large-language-models-artificial-intelligence/
https://metaroids.com/news/an-open-source-version-of-chatgpt-is-coming/
https://venturebeat.com/ai/what-10-top-ai-stories-in-2022-reveal-about-2023/
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
转载请注明：ChatGPTvsPaLMRLHF:两大AI语言巨浪，哪一个将引领未来对话潮流？开放源代码，打破神 | ChatGPT资源导航
相关文章
