ChatGPT生成的代码：准确性与挑战
文章主题：ChatGPT, 代码生成, AI 代码准确率, EvalPlus
用 ChatGPT 写代码，已经是不少程序员的常规操作了。
△” 至少提速 3~5 倍 “
但你有没有想过，ChatGPT 生成的代码，有不少只是 ” 看起来准确 ” 而已？
来自伊利诺伊大学香槟分校和南京大学的一项最新研究表明：
ChatGPT 和 GPT-4 生成代码的准确率，比之前评估的至少要降低 13%！
有网友感叹，太多 ML 论文都在用一些有问题或有局限性的基准来评估模型，来短暂地达到 “SOTA”，结果换个测评方法就现出原形了。还有网友表示，这也说明大模型生成的代码仍然需要人工监督，”AI 写代码的黄金时间还没到呢 “。所以，论文提出了一种怎样的新测评方法？
给 AI 代码考题加大难度
这个新方法名叫EvalPlus，是一个自动化代码评估框架。
具体来说，它会通过改进现有评估数据集的输入多样性和问题描述准确性，来将这些评估基准变得更严格。
一方面是输入多样性。EvalPlus 会先根据标准答案，用 ChatGPT 生成一些种子输入样例（虽然要测 ChatGPT 的编程能力，但用它生成种子输入似乎也不矛盾 doge）
随后，用 EvalPlus 改进这些种子输入，将它们改得更难、更复杂、更刁钻。
另一方面是问题描述准确性。EvalPlus 会将代码需求描述改得更精确，在约束输入条件的同时，补充自然语言问题描述，以提高对模型输出的精确度要求。
这里，论文选择了 HUMANEVAL 数据集作为示范。
HUMANEVAL 是由 OpenAI 和 Anthropic AI 联手打造的一个代码数据集，其中包含了 164 个独具匠心的编程问题，涵盖了语言理解、算法、数学以及软件面试等多种类型。这个数据集的制定旨在为编程领域提供更加人性化的评估方式，帮助程序员们更好地提升自己的技能水平。
EvalPlus 致力于优化数据集的输入类型与功能描述，从而使编程问题显得更加明确，并且测试输入更具挑战性或难度更高。
以一道求交集的编程题目为例，该题目要求AI编写一段程序，寻找两个数据列表中的共同元素，并对这些元素进行排序。
EvalPlus 用它来测测 ChatGPT 写的代码准确度。
在初步测试阶段，我们采用了一些简单的输入参数来验证ChatGPT是否能正确地回答问题。令人惊喜的是，它确实能够输出正确的答案。然而，当我们尝试采用不同的输入参数时，却发现了ChatGPT版本代码中存在的一个漏洞，这使得其表现变得不可预测。
属实是给 AI 们加大了考题难度。基于这套方法，EvalPlus 还做了一个改进版 HUMANEVAL+ 数据集，增加输入的同时，修正了一些 HUMANEVAL 里面答案就有问题的编程题。那么，在这套 ” 新考题 ” 下，大语言模型们的准确率实际上要打几折？
LLM 代码准确率平均降低 15%
作者们测试了当前比较受欢迎的 10 种代码生成 AI。
GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder以及StableLM-α are some of the most prominent natural language processing (NLP) tools and models currently available.
从表格中来看，经过严格测试后，这群 AI 的生成准确率都有所下降：
这里会通过一种名叫 pass@k 的方法评估准确率，其中 k 是允许大模型给问题生成的程序数量，n 是用于测试的输入数量，c 是正确的输入数量：根据新的这套评估标准，大模型们的准确率平均下降了 15%，其中比较广泛研究的 CODEGEN-16B 更是下降了超过 18%。
至于 ChatGPT 和 GPT-4 生成代码的性能，也下降了至少 13%。
然而，一些网友持有不同的观点，他们认为大模型生成的代码效果并不理想，已经成为了一个普遍现象。因此，我们需要深入探讨的原因，以便解决这一问题。
作者介绍
共同一作 Jiawei Liu，伊利诺伊大学香槟分校二年级博士生，研究兴趣是编程系统和深度学习。
一同创作者Chunqiu Steven Xia，目前就读于伊利诺伊大学香槟分校的二年级博士研究生，此前他在多伦多大学完成了本科学业。他的研究方向集中在机器学习与软件工程相结合的领域。
王宇峣，一名来自南京大学的计算机科学专业大三学生，他对计算机系统的研究领域主要集中在系统的准确性、可编程性以及性能方面。
Lingming Zhang是一位来自伊利诺伊大学香槟分校的副教授，他的研究领域涵盖了软件工程与其他重要领域之间的交叉点，包括机器学习、编程语言以及形式化方法（Formal Methods）。
论文地址：
https://arxiv.org/abs/2305.01210
代码地址：
https://github.com/evalplus/evalplus
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
相关文章
