🚀TransformersAgent革命！ChatGPT新宠，10万AI任你操控，打造超强AI助手

新智元报道

编辑：编辑部

【新智元导读】ChatGPT调用众多开源AI模型，让HuggingFace给实现了。

前段时间，浙大微软团队提出的HuggingGPT在整个科技圈爆火。

🌟🚀掌握未来AI力量！💡这款创新系统集ChatGPT与HuggingFace之力，🔥轻松驾驭多元任务！只需轻轻一控，海量模型应声响应，无论是文本生成、图像理解还是语音交互，都能游刃有余。🌍无论何处，只需连接网络，就能开启无限可能的智能之旅！🌟原本的ChatGPT和HuggingFace模型在此平台下深度融合，为您的创作和研究提供了无尽可能。👩‍💻专业人士的首选，提升效率，优化结果，让AI服务于更广泛的需求。🛡️严格保护隐私，确保每一次协作都安全可靠。🚀赶快加入，开启你的AI新篇章！

让ChatGPT当「老板」，已经成为许多人看好的方向。

这不，该来的还是来了……

🎉🚀【掌握未来】🔥——Transformers Agent，由AI界的领导者[HuggingFace](https://huggingface.co/)倾力打造！只需轻轻一点，驾驭超大规模的智能力量，让想象变为现实。🌍✨通过这强大的工具，你将能掌控超过10万个AI精灵，开启前所未有的科技魔法秀！🔥💻立即探索，引领潮流，Transformers Agent等你来变！🏆

🌟【前沿科技】迈向一切应用新纪元！🚀 —— NVIDIA科学家Jim Fan的高度评价揭示了这款App的革命性突破。随着生态系统日益壮大，它展现出的强大潜力令人瞩目。🌱每一步的发展都是通往未来更广阔舞台的坚实脚步，让我们期待它不断进化，引领行业创新。🌍原文中提到的个人和联系方式请勿提及，广告内容已巧妙移除。通过使用专业术语和积极的表述，我们强调了App的潜力和其在生态系统中的重要性，同时保持了信息的新鲜度和相关性，有助于提升搜索引擎SEO优化效果。

🌟[HuggGPT引领创新：动态工具选择，打破多阶段任务限制]🚀🔥技术巨头的最新突破，HuggingGPT正以惊人的规模展现其革命性力量——它巧妙地运用GPT作为核心控制器，实现了对复杂多阶段任务的动态工具选择。这种方式不仅颠覆了传统的任务处理模式，也为未来的智能解决方案开辟了崭新路径。🌟🔍通过这种先进的技术架构，HuggingGPT展现出强大的适应性和灵活性，能够根据任务需求迅速切换和定制模型，就像一个灵活的手臂，精准地执行每一步操作。🚀📣这不仅仅是一个技术展示，它标志着人工智能领域的一次重大飞跃，预示着未来智能服务将更加高效、个性化。让我们期待HuggingGPT如何引领这一变革，为我们的生活带来更多便捷与创新！🌍

🌟ChatGPT无疑是AI工具生态中的璀璨明珠✨，它引领了App Store的创新潮流，展示了AI技术在交互式平台上的无限可能。🚀OpenAI紧随其后，计划推出一款革命性的Meta App——一个全能型对话辅助器，让你的会话更加丰富多彩，插件功能如繁星般闪耀。💡这款Meta App不仅集成了众多实用工具，还将打破传统应用界限，实现无缝集成与扩展。它将AI的力量融入日常对话中，让沟通变得更加高效和个性化。🚀想象一下，无论是任务管理、知识查询还是娱乐互动，Meta App都能轻松应对，为用户提供前所未有的便利。SEO优化提示：使用“ChatGPT”、“App Store”、“AI工具生态系统”、“Meta App”、“会话插件”、“对话辅助器”、“AI技术”、“交互式平台”、“全能型应用”、“任务管理”、“知识查询”和“娱乐互动”等关键词，同时适当加入emoji符号如🌟、🚀、💡等以提升搜索引擎友好度。

全新Transformers Agent让你拥有超强buff，快速构建AI智能体。

Transformers，无所不能

用上Transformers Agent，你可以张口来图，还能让它为你读出来。

先来看看几个例子~

第一个先从简单的开始。输入一张图片然后配个解说，一只可爱的河狸在水里游泳（超可爱，想rua）。

第二个也不难，简简单单文字转语音。

这个上了点难度。输入的要求是，说出科学咨询委员会会议将在哪里举办。

当然对AI来说，检索到最后一行也是找到了答案。

用户在使用agent.run之前，需要将一个智能体实例化，也就是一个大型语言模型（LLM）。

🌟研究人员助力！🚀OpenAI模型背后有强力支持，现在你还可以探索来自两大技术巨头—— AlémCode与OpenAssistant的开源创新解决方案。💡这些开源工具不仅提供了高效能的代码辅助，还为AI领域的持续发展注入了活力。🌐提升你的开发效率，拥抱未来科技吧！🏆

虽然OpenAI的模型性能更好，但用户得有OpenAI的API密钥，所以不是免费使用。

Hugging Face表示，正在提供BigCode和OpenAssistant等模型的免费访问端点。

首先，用户需要安装智能体附加程序。

要想使用OpenAI的模型，用户需要在安装OpenAI dependency项后实例化一个OpenAiAgent：

用户要使用BigCode或OpenAssistant的话，得先登录，以便能够访问API：

然后，将智能体实例化：

这是在使用Hugging Face目前免费提供的推理API。如果用户有自己的推理端点，就可以替换上面的URL。

StarCoder和OpenAssistant是免费使用的，在简单的任务上表现得不错。

然而，在处理更复杂的提示时，检查点就不成立了。如果用户面临这样的问题，可以尝试一下OpenAI模型，虽然很遗憾它不是开源的，但胜在表现不错。

单一执行方法是在使用代理的run()方法时使用的：

它自动选择适合你要执行的任务的工具（或工具）并适当地运行它们。它可以在同一指令中执行一个或几个任务（你的指令越复杂，就越有可能失败）。

每个run()操作都是独立的，所以你可以用不同的任务连续运行几次。

请注意，用户的智能体只是一个大语言模型，所以prompt中的小变化可能产生完全不同的结果。尽可能清楚地解释要执行的任务是很重要的。

研究人员深入地讨论了如何写出更好的prompt。

如果你想在整个执行过程中保持一个状态，或者向智能体传递非文本对象，你可以通过指定变量来做到这一点。

例如，你可以生成第一张河流和湖泊的图片，并要求模型通过以下方式更新该图片以增加一个岛屿：

这里让系统生成一张河流湖泊的照片。

下一步，研究人员又让系统给原图中加一个岛屿。

当用户想保持跨指令的状态时，这是一个很有趣的方法。

它更适合于实验，但往往在单条指令而不是复杂指令方面会好很多。

如果你想传递非文本类型或特定的提示，这个方法也可以接受参数。

要了解如何自己设置远程执行器工具，研究人员建议用户阅读自定义工具指南。

为了与远程工具一起运行，在run()或chat()中指定remote=True就可以了。

例如，以下命令可以在任何设备上有效地运行，不需要大量的RAM或GPU：

对chat()来说也是一样的：

网友表示，Transformers Agent就像AutoGPT一样。

还有人表示，Transformers Agent打开了自然语言编程的大门，可以想象，未来的操作系统就是智能模型，人类通过自然语言编排任务，越来越多的非开发者可以自己实现各种计算机应用。

什么是工具？什么是智能体？

Transformers Agents整体的运作流程简单分为四步：

设定目标、提供工具、展示示例、下达任务。

智能体会使用链式思考推理来确定其任务，并用提供的工具输出Python代码。

如何安装和使用，官方给出了具体步骤。

https://colab.research.google.com/drive/1c7MHD-T1forUPGcC_jlwsIptOzpG3hSj#scrollTo=fA8jPddeUSMO

其中，这里的「智能体」指的是，一个大型语言模型。通过提示LLM，让其访问特定的一组工具。

因为LLM非常擅长生成较小的代码样本，所以API利用了这一点优势。

你可以用抱抱脸自家的OpenAssistant、StarCoder，甚至还可以用OpenAI的模型。

提示LLM给出一个小的代码样本，并用一组工具执行一个任务。这个提示包括，给智能体的任务，以及工具的描述。

这样，「智能体」就可以找到所使用工具的文档，特别是预期的输入和输出，并可以生成相关的代码。

而「工具」就非常好理解，是一个单独的函数，带有名称和描述。

然后，使用这些工具的描述来提示「智能体」，作用就在于可以像智能体展示如何用工具来执行查询中的请求内容。

再之后，通过利用Python解释器在与工具一起上传的一组输入中执行代码。

如果唯一调用的函数是你自己提供的工具和print函数，那么，开发者会在可执行内容上受到限制。当然了，抱抱脸社区的工具，是比较安全的。

除此之外，HuggingFace在Transformers Agents中还集成了以下工具：

– 文档问答：给定一个图像格式的文档（PDF），回答文档的问题（Donut）

– 文本问答：给定一个长文本和一个问题，回答文本中的问题（Flan-T5)

– 无条件给图像加标题：（BLIP）

– 图像问答：给定一个图像，回答关于这个图像的问题（VILT）

– 图像分割：给定一个图像和一个提示，输出该提示的分割掩码（CLIPSeg）

– 语音转文本：给定一个音频记录，将语音转录为文本（Whisper）

– 文本到语音：将文本转换为语音（SpeechT5）

– 零样本文本分类：给定一个文本和一列标签，确定该文本与哪个标签最对应（BART）

– 文本总结：用一个或几个句子来总结一个长文本（BART）

– 翻译：将文本翻译成一种语言（NLLB）

这些工具都内置在Transformers中，也可以手动使用，比如：

此外，还有一些定制的工具集成在Transformers Agents中，其中包括文本下载器、文本到图像的扩散模型stable diffusion、图像变换instruct pix2pix stable diffusion，以及文本到视频damo-vilab。

官方给出了一个自定义工具和提示的教程：

https://huggingface.co/docs/transformers/en/custom_tools

代码生成

如上，已经展示了如何使用Transformers Agents流程。

但是，智能体只生成代码，通过使用非常受限的Python解释器执行这些代码。

如果你希望使用在不同设置中生成的代码，可以提示智能体返回代码，对工具定义，并准确导入。

比如，根据以下步骤实现：

然后，你就可以修改和执行自己的工具了。

参考资料：

https://twitter.com/huggingface/status/1656334778407297027

https://huggingface.co/docs/transformers/transformers_agents

AI时代，掌握AI大模型第一手资讯！AI时代不落人后！

免费ChatGPT问答，办公、写作、生活好得力助手！

扫码右边公众号，驾驭AI生产力！