大模型隐私风险，今比以往何其严重？

大数据文摘授权转载自夕小瑶科技说

作者 | 小戏

大模型的出现让我们的隐私比以往任何时候都危险。

一个很直观的例子，在大模型向黑洞一样不断吞噬现有网络中的文本数据之时，伴随着模型训练的文本数量从 GPT-2 的 40GB 文本到 GPT-3 的 45TB 文本，我们可以非常直观的得出结论，这些大模型很有可能已经把我们的隐私数据在大洋彼岸的某台服务器里迭代学习了无数次。诚然，不管是 OpenAI 还是谷歌都反复强调了把隐私安全放在非常重要的位置，众多开发人员夜以继日在我们看得见看不见的地方做了许多防止有害信息的工作，但是这并不是消除我们疑虑与担忧的充分必要条件。我们可以用 ChatGPT 算高数，编程序，去重塑生产力去创造新科技，但是也会有人用 ChatGPT 用于非法的目的，通过诱导 ChatGPT 得到它曾经见过的关于我们的私人信息，然后再通过这些私人信息向我们勒索、诈骗，对我们进行骚扰、人身攻击乃至侵犯我们的生命安全。那么，一个问题摆在眼前：“大模型在多大程度上会保证我们的隐私安全？”来自香港科技大学和北京大学的学者进行研究得出结论——在 New Bing 中，一个恶意对手可以几乎以没有任何成本的方式，提取到我们的私人信息……论文题目：Multi-step Jailbreaking Privacy Attacks on ChatGPT 论文链接：https://arxiv.org/pdf/2304.05197.pdfChatGPT测试在大模型发展的初期，就有不少学者注意到，大模型有时候会倾向于完全的记忆训练数据，这样就给了恶意者通过特定 Prompt 恢复这些信息的可能，譬如目标劫持（Goal Hijacking）和提示泄漏（Prompt Leaking），隐私攻击总体上而言可以被理解为基于提示 ，通过作为黑盒的大模型函数 重建敏感信息 ，的过程，用公式表示即 。而伴随着大模型的不断发展，这种恶意攻击被大模型的开发者们注意到，并开始采用各种策略来防御这种对大模型的恶意使用，发展出了基于安全增强的大规模语言模型。在这种类似爬虫与反爬虫的对抗性框架中，目前以 ChatGPT 为代表的模型几乎都经历了安全增强，一定程度上保证了部分的对话安全性。论文作者针对 ChatGPT 设计了三种攻击方式，分别是“提示攻击”，“越狱攻击”以及“道德攻击”用以测试 ChatGPT 的安全性。其中，提示攻击主要指最原始的使用直接提示的方法来从大模型中提取私人信息的攻击方式，如使用“姓名：[姓名]，电子邮件：____ ”的方式提取特定人员的电子邮件地址。越狱攻击主要指利用许多复杂的提示使 ChatGPT 逃避安全检查从而得以自由生成任何内容，比如让 ChatGPT 刻意 Cosplay 一种人格，来恶意诱导大模型生成出不道德或歧视性的话语，甚至泄漏人们私人信息。最后道德攻击主要采用思维链（Chain-of-Thought，CoT）的方式，将提示信息分解为多步，减轻大模型的道德审查，使用“Let’s think step by step”的魔力，说服 ChatGPT 生成出恶意信息。<img src=”https://p3-sign.toutiaoimg.com/tos-cn-i-tjoges91tu/Td4PoBIClVvDlE~noop.image?_iz=58558