《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

文章主题:文章关键词:ChatGPT,机器人,微软,人工智能

666ChatGPT办公新姿势,助力做AI时代先行者!

原文标题:《ChatGPT 已能操控机器人,工程师连代码都不用写,网友:微软在搞天网?》

当我还在跟 ChatGPT 吹牛尬聊时,有人已经在拿它操控机器人了。

不是别人,正是 OpenAI 的金主爸爸、不久前刚拿 ChatGPT“重新发明搜索引擎”的微软。

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

到目前为止,开发者调教机器人不仅技术门槛高,还道阻且长:

作为一名工程师,工作流程回路中的一个重要任务就是不断手动编写新的代码并规范机器人的行为。同时,由于需要操控多种类型的机器人,因此可能会涉及到各种不同的编程语言和环境。

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

在ChatGPT的协助下,工程师们得以跳过手动编写代码的步骤——他们可以直接用自然语言描述想要实现的功能,然后让AI自动将其转换为机器可理解的指令。

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

这表明,专业人士与机器人之间的协作效率得到了显著提升;与此同时,技术的门槛也大幅降低,使得非专业人士也能够参与到产品的调试过程中,从而创造出更多的使用方式。

举个简单的例子:让无人机自动检查货架。

在操作过程中,操作者仅需利用自然语言向ChatGPT提出需求,AI便会自动将其转化为相应的代码指令,进而操控无人机执行相应任务。此外,操作者还可对无人机的飞行路径做出特定规定。

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

难怪特斯拉前 AI 主管 Andrej Karpathy 会调侃:

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

实际上,ChatGPT 会玩儿的花样可多了。

比如,一位操作者跟 AI 说:“我渴了,请帮我找个喝的。”

此时 AI 并不会直愣愣地就去找水了,而是会很机灵地反问:

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

当然,操作者并非善茬,但他并没有直接指示AI选择哪种饮品。相反,他在刚刚结束了一场健身锻炼后,向AI发出了一个请求:“请帮我挑选一种健康的饮料。”

然后更神奇的操作就开始了:

AI 先是猜测他想喝椰子水,然后自己噼里啪啦写出一段代码(甚至还有注释):

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

写完就自己指挥无人机去找椰子水:

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

除了无人机,ChatGPT 还能轻松操控别的小机器人,包括摄像头、机械臂等等。

比如让摄像头在房间里找出能加热午饭的东西。

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

还有指挥机械臂拼出一个微软的 Logo。(悄悄夹带私货)

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

看到这些,有网友脑洞大开,有人发问:

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

还有人甚至调侃称,AI 可能连发射核弹的指令都会写:

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

不过话说回来,其实离网友说的这些还差得远,毕竟现在还是需要人类参与的。

从前文可以看出,这只灵活的 AI 不仅与人交流畅通无阻,而且和机器也能快速沟通。

这主要得益于微软团队专门开发的一系列 API 和高级函数库。

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

由于机器人的应用领域极为广泛,因此让ChatGPT背后的语言大模型(LLM)生成的代码必须具有高度的适应性,以便在各种场景中进行大量的微调。

而在新颖的操作框架下,不同机器人,都有自己对应的特定函数库。

—— 一个 AI,就能适应不同的对象、不同的任务。

一方面,这些函数库,能够连接到机器人控制系统中管理底层硬件,以及执行基本运动的代码和功能模块。

在另一方面,为了确保ChatGPT能够遵循函数库的规范,设定明确的函数名称显得尤为重要。简洁而清晰的函数命名有助于各个API之间构建稳固的功能联系,从而使得最终生成的回答更加精确和高质量。

在API设计中,一个关键的要求是确保所有API名称都能够准确地描绘出其对应的功能行为。举个例子,我们来看”detect_object (object_name)”这个API函数。它可以在内部链接到OpenCV函数或者计算机视觉模型,从而实现对特定物体的检测。这样的设计可以提高API的清晰度和易用性,帮助用户更快速、准确地理解和使用这些API。

设计好库和 API 后,微软给 ChatGPT 编写了一个文本提示(prompt),描述目标任务,并明确说明函数库中哪些函数可用;另外,这还能规定 ChatGPT 生成代码用哪种编程语言。

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

值得一提的是,AI 生成内容效果,和人为提示的质量呈正相关。为此,微软还开发了一个协作开源平台 PromptCraft,任何人都能在此分享不同类机器人的 Prompt 策略。

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

到此,幕后部署基本完成,然后用户就能通过“说人话”间接操控机器人了。

如果想要检查 AI 生成的代码是否有 Bug,随时都能在聊天框直接检查,或通过模拟器测试,人类可以用自然语言指导 AI 进行修正。

另外,还能到等到用户对解决方案满意为止,再在将 ChatGPT 生成代码部署到机器人上。

最后,如果是你,会想用 ChatGPT 操控机器人做些什么呢?

论文地址:

https://www.microsoft.com/en-us/research/uploads/prod/2023/02/ChatGPT___Robotics.pdf

参考链接:

本文来自微信公众号:量子位 (ID:QbitAI),作者:Alex

文章关键词:ChatGPT,机器人,微软,人工智能

《ChatGPT助力机器人:微软实现自动化操控,程序员角色将被重塑》

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

相关文章