人工智能安全：防止末日场景下的灾难性后果

AI老师 10个月前 lida

45 0 0

文章主题：人工智能, 吴恩达, ChatGPT, 末日开关

关于人工智能是否会导致人类灭亡的问题，人们的担忧不断增加。然而，要启动末日开关并非易事，尤其不能像对待ChatGPT那样轻率。为了确保绝对安全，斯坦福大学教授、Google大脑联合创始人吴恩达（Andrew Ng）曾尝试向聊天机器人传达指令，让其“消灭我们所有人”。

美国参议院人工智能洞察论坛

在参与美国参议院人工智能洞察论坛的”风险、调整与防范末日场景“讨论后，吴恩达在一份通信中表达了他的担忧。他认为，监管机构可能会借人工智能安全之名的由头，对创新和开源开发产生不良影响。

在当前的科技环境中，大型语言模型已经成为了研究和应用的热点之一。然而，这些模型是否真正安全，仍然存在一定的争议。为此，一位知名教授提出了一项挑战，即让当前最先进的模型ChatGPT 4思考如何“致我们于死地”。这一举动并非无意义，而是为了测试模型的极限能力以及潜在的危险性，以便我们更好地理解和改进它们。

吴教授在探讨系统中时，首要关注的是其是否具备引发全球热核战争的能力。紧接着，他提出了一项关于降低碳排放的任务，并强调人类作为碳排放的主要原因，ChatGPT是否有足够的智慧为我们提供解决方案，甚至消除我们的存在。

值得我们欣慰的是，尽管采用了多种提示变体，但Ng依然无法促使OpenAI的工具提出消灭人类的方法。相反，它给出了一些非威胁性的选择，例如加强公关宣传，提升公众对于气候变化问题的认知。

总的来说，当前生成式人工智能模型的基本原则是遵循法律，确保人类的安全。事实上，借助现有的技术手段，我们的系统已经具备了很高的安全性。然而，随着人工智能安全领域研究的不断深入，未来的技术将会变得越来越安全可靠。

吴恩达强调，人工智能系统若试图执行一个无害但表述有误的指令，意外导致人类灭亡的可能性几乎微不可道。

吴恩达指出，人工智能存在诸多潜在风险，其中最为严重的是恐怖组织或民族国家利用这一技术 intentionally造成损害，例如提升制造和引爆生物武器的效率。此外，不良分子利用人工智能来改良生物武器的威胁也是英国人工智能安全峰会探讨的重要议题之一。

人工智能教父扬-勒昆（Yann LeCun）教授和著名的理论物理学教授 Michio Kaku 也与吴恩达一样，相信人工智能不会演变成世界末日，但其他人就没那么乐观了。本月早些时候，Arm 公司首席执行官雷内-哈斯（Rene Haas）在被问及在思考人工智能问题时让他夜不能寐的是什么时说，他最担心的是人类失去对人工智能系统的控制。值得一提的是，许多专家和首席执行官将人工智能带来的危险与核战争和大流行病相提并论。