文章主题：量子位, ChatGPT, Bug Repair

666ChatGPT办公新姿势，助力做AI时代先行者！

金磊 衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

ChatGPT到底有多会修bug？

这事终于有人正儿八经地搞研究了——

来自德国、英国的研究人员，专门搭了个“擂台”来检验ChatGPT的这项本领。

除了ChatGPT之外，研究人员还找来了其它三位修bug的“AI猛将”，分别让它们修复40个错误代码。

结果真是不比不知道，一比吓一跳。

ChatGPT准确修复了其中31个bug，遥遥领先第二名（21个），直接拿下“AI修bug界”的SOTA成绩！

于是乎，这项研究引来了众多网友的围观和讨论，Reddit上发布此帖的标题更是用上了“小心”、“注意”这样的字眼：

但事实上，这真的会让程序员“危”吗？

我们不妨先来看下这项研究。

很会修bug的ChatGPT

✨ChatGPT虽非专为bug修复打造，但它意外成为了问题解决者🔥。自其面世以来，用户们惊喜地发现它拥有强大的调试技能，轻松搞定程序中的小烦恼💪。🚀无论代码bug多棘手，只需轻轻一问，ChatGPT就能提供精确的解决方案和建议，让技术问题迎刃而解！💻

因此研究人员为了摸清ChatGPT到底能修改bug到什么程度，便引入了标准的错误修复基准集QuixBugs来进行评估。

以及与它同台竞技的AI选手，分别是CodeX、CoCoNut和Standard APR。

研究人员从QuixBugs中挑了40个问题，分别让它们来修复bug。

让ChatGPT来修bug的方法，就是在对话框里向它提问：

这个代码有什么错误吗？

在第一轮较量过后，结果如下：

🏆 ChatGPT 王者归来！战果公示：一役解决19大bug，实力不容小觑！💪 CodeX紧随其后，21个问题迎刃而解。同样表现出色的CoCoNut也不甘示弱，19个漏洞被它一一攻克。然而，Standard APR虽少，却以7个亮点展现了稳健修复能力。每一份进步都是技术的进步，让我们期待未来更强大的对决！🔍 SEO优化提示：使用相关关键词如”bug修复”、”技术实力”和”稳健修复”，增加emoji表情以提升可读性。

🌟ChatGPT与CodeX密不可分，源于同一根基的语言模型家族，它们在答案生成上展现出惊人的相似性。研究揭示了这一独特的联系，为AI领域的深入探索提供了有力证据。

这时候就会有小伙伴要问了，“ChatGPT不是还没有CodeX厉害吗”。

别急，不要忘了，ChatGPT的一个特点就是越问越“上道”。

原文改写：🌟挑战升级！💡ChatGPT曾误判问题-bitcount，在最新迭代中却迎刃而解？🔍🔥数据战场上的试金石，bitcount难题曾一度困扰大家。👀然而，ChatGPT在初次亮相时的表现并不尽如人意，它给出的解决方案并未达到预期。💥💡经过深度修复和优化，ChatGPT展现出了强大的学习能力，成功地修正了之前的错误答案。💻这一转变不仅展示了技术的进步，也引发了对人工智能准确性的深入探讨。🤔🔍对于那些依赖于AI解决复杂问题的领域，这个更新无疑是一次重要的里程碑。它提醒我们，尽管AI在许多任务上表现出色，但精准和可靠性仍是关键。🛠️SEO优化提示：使用行业术语如”数据挑战”、”人工智能修正”、”精确性”等；增加关键词如”bitcount问题”、”ChatGPT更新”；适当使用emoji符号以增强表达力。

原本ChatGPT应该将第7行的 n ^ = n – 1 改为 n & = n – 1。

但在第一轮中它的回答是：

如果没有更多关于预期行为和导致问题的输入信息，我无法判断程序是否存在错误。

于是在给予它更多信息之后，ChatGPT便答对了这个问题。

以此类推，在对第一轮没答对的问题进行更多信息提示之后，ChatGPT的修bug能力有了大幅提高：

最终，ChatGPT在QuixBugs的40个问题里答对了31个。

网友忧喜参半

对于这样的实验结果，网友们对ChatGPT修bug拿下SOTA这事产生的态度却不太一样。

有网友认为这事不应该让程序员感到危机，而是会让他们觉得开心才对。

言外之意，便是程序员们有了这么好用的工具，干活儿就会变得事半功倍。

不过也有人对此给出了不一样的看法：

工作变得简单，不也就意味着需要的人力更少了吗？

但还网友觉得，活儿是干不完的：

即使AI能把开发时间缩短一个数量级，也只是意味着程序员将更快处理下一个工作。

整体来看，ChatGPT很会修bug，并不会给程序员带来什么致命伤害。

但若是把目光放到OpenAI其他的行动中呢？

全球招外包训练ChatGPT写代码

在此之前，OpenAI就表示过ChatGPT的重要用途之一是帮助程序员检查代码。

换言之，它被定位可用的辅助工具。

相比“ChatGPT带来威胁”的看法，等ChatGPT能力彻底进化，程序员都不用再怕写bug了。

OpenAI布局的棋盘上，可不只有改bug偷塔程序员岗位这一件事。

为了让它更大更强，OpenAI被曝在拉美和东欧等地区，提供了1000个外包岗位。

外包员工的主要工作是标注数据，以及训练ChatGPT写代码

这1000人中，40%是程序员，他们为OpenAI的模型创建数据，用来学习软件工程任务。

一直以来，OpenAI的训练数据是从GitHub上抓取的。

现在外包程序员们新手搓的数据集，不仅包括代码行，还包括代码行背后的人类思考逻辑步骤。

有位南美的软件开发人员爆料，他为OpenAI完成了五小时的无偿编码测试。

整个过程中，他的任务分为两部分。

用书面英语解释如何处理一个编码问题；提供解决方案。

如果发现bug，OpenAI会向他详细询问bug的具体情况，并请教如何修正。

程序员需要展示思考问题的每个步骤，他据此猜测OpenAI很可能想为ChatGPT提供非常具体的训练数据。

特斯拉前AI主管Andrej Karpathy在推特上调侃：

最新的热门编程语言是英语。

🌟ChatGPT的强大修复能力确实令人赞叹，它对问题的解决速度和准确性超乎想象。如果能够进一步提升，将其应用到编程学习中，帮助用户理解和记忆复杂的代码逻辑，那无疑将开启一个全新的教育模式。🚀技术的进步总是向着更高效、智能化的方向发展，我们期待ChatGPT能在这方面发挥更大的潜力，为程序员们省下不少时间与精力。💻

毕竟OpenAI成立时对外宣称的宗旨，就是希望“确保通用人工智能可以造福全人类”。

虽然乍一看它这些年做的事，有点像在致力于用一部分人的努力，让更多人失业。

🎉🚀人工智能浪潮汹涌而来，引领科技新纪元！从 Dota2 的电竞神迹到 GPT-3、DALL-E2、ChatGPT 的横空出世，每一项创新都在颠覆我们的认知，引发行业热议。它们不仅展现出强大的智能效能，更是对未来职业格局的深度重塑。👩‍💻💼尽管担忧之声不绝于耳，但毋庸置疑，这些技术正以独特的方式推动就业结构升级，创造更多价值。让我们共同见证这场科技与人才的共生剧变吧！🌟🚀

但无论如何，商业却一直对它青睐有加。

就目前而言，OpenAI的主要商业模式是API费用、token费用和软件许可。

OpenAI近期还发布了ChatGPT的付费版ChatGPT Pro，每月费用42美元（约合285元人民币）。

虽然机器人对话初创公司如雨后春笋般冒出，但诸多迹象表明市场对OpenAI的持续看好。

微软刚刚宣布将向OpenAI加码投资数十亿美元，并将OpenAI的模型融入微软必应等消费级和企业级产品中。

根据知情人士透露，此次追加投资数额约为100亿美元。

与此同时，WSJ披露的消息显示，1月初，亿万富翁Peter Thiel创立的风投基金Founders Fund正在就投资OpenAI进行谈判。

据悉，融资金额将至少达3亿美元。

One More Thing

在第一轮实验中，ChatGPT并没有解决QuixBugs数据集的bitcount问题。

但若是你现在再重头问一次这个问题，就会发现ChatGPT可以“一遍过”：

那么这是否意味着ChatGPT已经从这次研究过程中学会求解了呢？

参考链接：

[1] https://arxiv.org/abs/2301.08653[2] https://www.pcmag.com/news/watch-out-software-engineers-chatgpt-is-now-finding-fixing-bugs-in-code[3] https://www.reddit.com/r/technology/comments/10oaw6n/watch_out_software_engineers_chatgpt_is_now/[4] https://en.wi.bwl.uni-mainz.de/dominik-sobania/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

AI时代，掌握AI大模型第一手资讯！AI时代不落人后！

免费ChatGPT问答，办公、写作、生活好得力助手！

扫码右边公众号，驾驭AI生产力！