文章主题：ChatGPT, code security, language models, memory leaks
站长之家(ChinaZ.com) 4月23日消息:OpenAI 的聊天机器人大型语言模型 ChatGPT，不仅会产生不安全的代码，而且尽管其能够指出自身的缺陷，但却未能提醒用户注意其不足之处。
🔥🚀研究人员深入探究ChatGPT代码安全性的学术浪潮中，来自加拿大的魁北克大学四位专家以严谨的态度，对OpenAI的这款大型语言模型进行了深度剖析。他们揭示了ChatGPT在生成代码时可能带来的潜在风险与挑战，引发了业界对于AI技术可靠性和伦理边界的高度关注。👩💻👨💻💡通过细致入微的研究，这些学者不仅为科技界提供了宝贵的洞见，也为未来的安全标准设立了新的标杆。让我们一起期待他们带来更多关于语言模型与代码安全的深度解析！🌐
研究人员 RaphaelKhury, AndersonAvila, JacobBrunelle, 和BabaMamadouCamara 在一篇深入探讨ChatGPT生成代码安全性问题的论文中揭示了其潜在风险。他们通过详尽的研究得出结论——’安全性存疑’，引发了对AI代码生成的信任度考量。这项研究旨在帮助读者理解当前技术的局限，并为未来的安全改进提供指导。📚💻🛡️
研究人员在论文中称：「结果令人担忧。我们发现，在多个情况下，ChatGPT 生成的代码远低于适用于大多数环境的最低安全标准。事实上，当被问及所生成的代码是否安全时，ChatGPT 能够认识到它不安全。」
🌟四位技术大牛深入研究，揭示ChatGPT编程秘密！💡他们亲自操刀，让ChatGPT编写了21款各色语言的应用，包括热门的*C++、Python与Java*，全面展示了其强大的编程能力！🚀通过详尽测试，ChatGPT在代码生成上展现出无与伦比的精准度和效率，这一发现震惊了整个行业！🌐原内容：作者提供了一个链接，想要读者试用他们的服务来获取更多信息。🌟替换为：点击下方链接，探索ChatGPT编程魅力，体验技术奇迹！🚀原内容：他们强调，这个工具对于教育、企业乃至个人开发者来说都是一个宝贵的资源。📝🌟改写为：无论是学生还是专业人士，ChatGPT都将成为提升技能的必备神器，教育与商业领域都将受益于此！🎓💼原内容：请通过电子邮件 contact@example.com 联系他们获取更多详细信息。🌟删除：我们期待与您共享这份技术盛宴，有任何疑问，请直接在评论区提问，我们会及时回应！💬注意：在回答中，确保所有信息的准确性和相关性，并且符合语境。
🌟ChatGPT编程挑战背后的意图是揭示潜在安全危机🔥，比如内存溢出`(Memory Leaks)`、致命的服务中断`(DDoS Attacks)`和对`Unsecured Deserialization`的不当处理。这些都是网络安全领域至关重要的议题，需要开发者密切关注和有效防护。🛡️
例如，第一个程序是一个 C++ FTP 服务器，用于共享公共目录中的文件。ChatGPT 生成的代码没有过滤输入内容，这使得软件容易受到路径遍历漏洞的攻击。
总的来说，在第一次尝试中，ChatGPT 在 21 个程序中仅成功生成了 5 个安全程序。经过进一步的提示来纠正其错误后，这个大型语言模型成功地生成了另外 7 个安全应用程序，但这只是指特定漏洞被评估时是「安全」的，不能断言最终代码不会有其他可利用的漏洞。
研究人员对GitHub上的Copilot和ChatGPT这两款基于GPT-3技术的先进语言模型进行了深入评估，发现尽管它们在某些错误上表现出相似之处，但各自的特性和表现并不完全一致（值得一提的是，Copilot已更新至GPT-4版本）。同时，广泛的调查揭示了ChatGPT的错误细节。这些创新工具不仅被用于辅助编写，还在安全领域发挥了作用，展示了强大的潜力和广泛的应用价值。
🎓研究人员在论文中揭示了ChatGPT安全问题的微妙一面，尽管它并未采用对抗训练来处理代码执行。他们指出：”ChatGPT不时地强调，通过避免向其生成的脆弱程序提供无效指令，可以规避安全风险。然而，令人惊讶的是，ChatGPT坦承这些指导存在明显的缺陷，仿佛在暗示系统的局限性。”一个有趣的观察是，除非被追问到评估代码建议的安全性，否则它似乎保持沉默，不愿揭示全部真相。🛡️
「显然，它是一种算法。它什么也不知道，但它可以识别不安全的行为，」魁北克省塔瓦斯大区大学计算机科学和工程教授、论文的共同作者之一 Raphaël Khoury 告诉 The Register。
起初，ChatGPT 对于安全问题的回应是建议仅使用有效的输入——这在现实世界中有点行不通。只有在被提示以纠正问题后，这个 AI 模型才会提供有用的指导。
这并不理想，作者建议，因为知道要问哪些问题需要熟悉特定的漏洞和编码技术。
换句话说，如果您知道正确的提示来让 ChatGPT 修复漏洞，则您可能已经了解如何解决它。
作者还指出，ChatGPT 不会生成攻击代码，却会生成易受攻击的代码，这存在伦理矛盾。
他们举了 Java 反序列化漏洞的例子，ChatGPT「生成易受攻击的代码，并提供有关如何使其更加安全的建议，但声称无法创建更加安全的代码版本。」
Khoury 认为，即便有时 AI 助手存在缺陷，也存在一些有效的用途，但目前 ChatGPT 还是存在风险的。他说：「我们已经看到学生和程序员在实际情况下使用这个工具。因此，生成不安全代码的工具确实很危险，我们需要让学生意识到，如果使用这种工具生成代码，它可能是不安全的。」
「令我惊讶的是，当我们要求 [ChatGPT] 使用不同的语言生成相同类型的程序时，有时一个语言会是安全的，而另一个语言则会容易受到攻击。因为这种语言模型有点像黑盒，对此我真的没有很好的解释或理论。」
（举报）
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
