文章主题：HuggingGPT, AGI, 复杂AI任务, LLM
最强组合：HuggingFace+ChatGPT ——
HuggingGPT，它来了！
只要给定一个AI任务，例如“下面这张图片里有什么动物，每种有几只”。
它就能帮你自动分析需要哪些AI模型，然后直接去调用HuggingFace上的相应模型，来帮你执行并完成。
整个过程，你要做的就只是用自然语言将你的需求输出。
这项由浙大与微软亚研院的合作成果，一经发布就迅速爆火。
英伟达AI研究科学家Jim Fan直呼：
📚🚀本周最惊艳学术之旅！论文揭示了惊人的”App全能”理念——AI直击信息核心，仿佛万事万物皆可触及只需轻轻一触！🔍💻这种创新思维挑战了传统认知，开启了未来数据交互的新篇章。欲了解更多，探索无尽可能，敬请关注相关领域的深度解析！🌍🌐
而一位网友则“直拍大腿”：
这不就是ChatGPT“调包侠”吗？
AI进化速度一日千里，给我们留口饭吃吧……
所以，具体怎么回事儿？
HuggingGPT：你的AI模型“调包侠”
其实，若说这个组合物只是“调包侠”，那格局小了。
它的真正用义，是AGI。
如作者所言，迈向AGI的关键一步是能够解决具有不同领域和模式的复杂AI任务。
我们目前的成果离此还有距离——大量模型只能出色地完成某一特定任务。
然而大语言模型LLM在语言理解、生成、交互和推理方面的表现，让作者想到：
🌟💡将它们视为智能中枢，引领所有AI模型的高效协同，利用”聚合与个性化策略”破解复杂AI挑战，这就是未来力量的秘密武器！🎯
在这个系统中，语言是通用的接口。
于是，HuggingGPT就诞生了。
它的工程流程分为四步：
首先，任务规划。ChatGPT将用户的需求解析为任务列表，并确定任务之间的执行顺序和资源依赖关系。
其次，模型选择。ChatGPT根据HuggingFace上托管的各专家模型的描述，为任务分配合适的模型。
接着，任务执行。混合端点（包括本地推理和HuggingFace推理）上被选定的专家模型根据任务顺序和依赖关系执行分配的任务，并将执行信息和结果给到ChatGPT。
最后，输出结果。由ChatGPT总结各模型的执行过程日志和推理结果，给出最终的输出。
如下图所示。
假定我们给出这样一个请求：
🎉📚Girl Engaged in Reading✨ – Transforming the Scene with Similar Pose 📖👀想象一下这个场景：一位清新脱俗的女孩，沉浸在书的世界里，仿佛时间都静止了（📖蟲洞）。她的手臂优雅地环绕着书本，眼神专注而深邃，与@example.jpg中的男孩形成巧妙的对比（👨👧👦)，展示出阅读的独特魅力（📚💫）。图片设计上，我们精心捕捉了她舒适的坐姿，背部挺直，展现出对知识的尊重和热爱（💪📚）。背景简洁，只留一抹淡淡的书香（📖🌿），仿佛能闻到墨香与智慧的气息（ Inhalation: Knowledge’s Scent 🧠）。接下来，让我们用声音为这幅画面配音。轻轻翻开书页的声音，如同微风拂过纸张，带出她逐字阅读的节奏（📖颯颯）。她的呼吸声平稳而深沉，仿佛在与书中角色对话（ Inhalation: Heartfelt Conversations 🤝），每一个细微的动作都充满情感和专注（👀💖）。这不仅仅是一幅图片，它讲述了一个关于热爱学习、享受独处时光的故事（Story of Learning 📚）。让我们一起沉浸在这一瞬间，感受知识的力量和阅读的美好吧！✨📚
可以看到HuggingGPT是如何将它拆解为6个子任务，并分别选定模型执行得到最终结果的。
具体效果怎么样？
作者采用gpt-3.5-turbo和text-davinci-003这俩可以通过OpenAI API公开访问的变体，进行了实测。
如下图所示：
🌟当任务间存在紧密的资源链接时，HuggingGPT就像一个灵活的导航员，能精准解读用户含蓄的需求，无缝执行图像转换任务。🎯无需冗长指令，只需清晰意图，它就能迅速识别并行动。💻借助先进的技术，它能在复杂的依赖网络中游刃有余，确保每个环节都精确无误。🌍无论任务分布在何处，无论是跨国还是跨设备，HuggingGPT都能轻松应对，实现高效协作。💪让你的工作流程更流畅，资源利用最大化！
🌟🚀音频与视频创作新高度！我们的AI模型以卓越的协作能力著称，它能自如地串联🔥并行操作，将模型力量发挥到极致。近期，它成功打造了震撼人心的太空漫步视听盛宴——通过串行与并行策略，为这段”宇航员星际行走”无缝融合了音频与视觉艺术。🚀每一步都精准无误，展现了无人能及的技术魅力。让AI引领未来创意，体验超凡卓越！🌟
此外，它还可以集成多个用户的输入资源执行简单的推理，比如在以下三张图片中，数出其中有多少匹斑马。
一句话总结：HuggingGPT可以在各种形式的复杂任务上表现出良好的性能。
项目已开源，名叫「贾维斯」
🎉【超新模型】HuggingGPT震撼登场！🚀🔥最新科研动态：顶尖AI论文已公开，引人注目！🔍 该创新项目正处于快速发展阶段，每一刻都在书写未来科技新篇章！🚀📚代码先行，开放怀抱：虽然部分代码已亮相，但这仅是冰山一角，等待你去探索的深度与广度超乎想象！💻🌟热烈反响：短短时间，1.4k颗星的璀璨见证，HuggingGPT的潜力和魅力不容小觑！✨欲了解更多？敬请关注，我们致力于提供最前沿的知识与技术，一起迎接人工智能的新时代！🌐#HuggingGPT #AI研究 #代码开源
我们注意到，它的项目名称很有意思，不叫本名HuggingGPT，而是钢铁侠里的AI管家贾维斯（JARVIS）。
有人发现它和3月份刚发布的Visual ChatGPT的思想非常像：后者HuggingGPT，主要是可调用的模型范围扩展到了更多，包括数量和类型。
不错，其实它们都有一个共同作者：微软亚研院。
具体而言，Visual ChatGPT的一作是MSRA高级研究员吴晨飞，通讯作者为MSRA首席研究员段楠。
HuggingGPT则包括两位共同一作：
Shen Yongliang，TA来自浙江大学，在MSRA实习期间完成此项工作；
Song Kaitao，MSRA研究员。
其通讯作者为浙大计算机系教授庄越挺。
最后，对于这个强大新工具的诞生，网友们很是兴奋，有人表示：
ChatGPT已成为人类创建的所有AI的总指挥官了。
也有人据此认为：
AGI可能不是一个LLM，而是由一个“中间人”LLM连接的多个相互关联的模型。
那么，我们是否已经开启“半AGI”的时代了？
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
