ChatGPT 的发展现状、风险及应对

文 | 北京理工大学计算机学院 赖鄹；中国网络空间研究院 吴巍；北京理工大学网络空间安全学院 杨晨 费伟伦；中国科学院大学经济与管理学院 兰舒琳

任何事物往往都具有两面性，ChatGPT 在带来技术发展红利的同时，也引发对此类技术的使用规范、监督和风险管理等问题的讨论。认清 ChatGPT 的本质和局限性、研判潜在的风险和挑战，结合信息安全和伦理道德的约束，提出相应的风险评判标准，以及推进人工智能技术健康发展的对策建议，对同类人工智能技术的发展规划和落地实施，具有必要的作用。

一、人工智能发展进入新阶段

生成式人工智能的本质是通过从数据中学习数据的概率分布，从而生成新的数据或预测未来的数据。生成式人工智能大多使用生成模型，例如传统的高斯混合模型、隐马尔可夫模型，其中，深度学习的卷积神经网络、对抗生成神经网络也是重要的生成模型。在 ChatGPT 出现之前，生成式人工智能就已经开始应用在不同场景，例如股票预测、智能对话、机器翻译等。但是，生成式模型在实际应用过程中存在推理速度慢、长距离依赖等问题。因此，在生产活动中，依然以分析式人工智能为主。随着近年来科研成果的推陈出新，人工智能的落地应用开始从分析式人工智能逐步转向生成式人工智能，其原因在于：第一，数据量的增加。互联网和物联网技术的发展生成了大量可用的数据，丰富了生成式人工智能的数据资源，为大规模预训练模型的出现奠定了基础。第二，计算能力的提升。现代计算机和云计算技术的发展，使原来的摩尔定律不再适用，也使训练更深、更大的深度神经网络成为可能。第三，算法的改进。上述环境的改变，促使大规模预训练模型诞生。这意味着模型具备更丰富的知识，而其计算和推理的能力也大幅的提升，更准确地模拟真实世界的数据分布。这些原因并不能直接促使人工智能发展方向的改变，却为生成式人工智能被更好地应用到工业生产和真实生活中埋下了种子。而且，ChatGPT 产品的成功应用，则意味着这颗种子的生长进入了一个新的阶段。

一是基于大数据的大模型。Transformer 模型保证了 ChatGPT 的基本生成能力。GPT 系列的模型本体是基于 Transformer 模型的解码器堆叠而成的，相较于原本的 Transformer 解码器，GPT 模型移除了多头编码器-解码器注意力模块，仅保留了多头掩码自注意力模块和前馈神经网络模块；多头掩码自注意力模块保证输出语义信息的多样性和自回归生成的过程。基于 Transformer 模型的自注意力机制和位置编码等特性，GPT 模型能更好捕捉长距离依赖关系和上下文信息，生成连贯的语言表达。而且，大数据保证了 ChatGPT 的知识储备。GPT 的训练数据包含了文本语料库、网络文章、社交媒体、电子书籍、维基百科等多领域多类型的海量文本数据，保证了 GPT 模型有足够的“知识”和强大的“推理”能力。GPT 本质是自回归生成的语言模型。Prompt Tuning 作为一种微调预训练模型技术，帮助预训练模型更好地适应具体的任务和应用场景，生成更加精准的语言，保证了 ChatGPT 的适应能力。InstructGPT 引入的基于人类反馈的强化学习（RLHF）模型促进生成符合人类观点和价值观的内容，保证了 ChatGPT 生成文本的精确性和真实性。可见，ChatGPT 背后的技术依然是在深度学习的框架内，其效果也是在一次次训练迭代和人工的指导下完成的，其知识储备更多是来自训练数据。

二是满足内容生成需求。随着人们接受新鲜事物的渠道越来越多，承受能力越来越强，传统的专家生成内容（PGC）和用户生成内容（UGC）已经不能满足人们的信息需求。在 ChatGPT 之前，已经有基于对比语言-图像预训练（CLIP）模型的迪斯科扩散（Disco Diffusion）、达利-2（DALLE-2）的人工智能绘画软件，而基于人工智能的生成内容（AIGC）在传媒、电商、影视、娱乐、教育等领域都得到了广泛的应用。AIGC 的出现正在弥补内容生产的缺口，诸如 ChatGPT 之类的产品也确实展现了更加人性化和智能化的创作水平。这些几乎没有准入技术门槛的产品，使每个人都可能成为创作者；而海量的训练数据也在一定程度上改善了生成内容的质量。目前，ChatGPT 之类的产品创作依然受限于人的“指令引导”。根据用户的输入，模型会根据从海量训练数据中学习到的“知识”生成用户所需要的内容。该过程从以往需要用户自己负责创意产生、内容创作，发展到现在只需要用户有一个想法就可实现初步的创作。

三是改进人机交互体验。ChatGPT 采用了基于语言模型的生成式对话系统，通过多轮对话、上下文感知、模型优化等技术，实现了更加自然、流畅和智能的对话，从而使用户感觉在与一个真正的人进行交流。这种自然的交流方式突破了传统文本输入的限制，使对话更加顺畅，主要表现在：第一，多轮对话。从用户的反馈看，ChatGPT 相较于过往的对话系统，能进行更多轮对话，聊天主题也不会发生偏离。第二，上下文感知。ChatGPT 能够有效将上下文信息与用户的输入进行结合，理解用户的意图和需求，并生成相应的回复，从而使用户感觉自己在与一个真正理解自己的人进行对话。第三，模型优化。ChatGPT 采用了大规模语料训练、预训练-微调等优化技术，提高了模型的生成能力和准确性，使 ChatGPT 可以生成更加准确、有条理和自然的回复，并具有更好的鲁棒性和泛化能力。

四是实现多维数据融合。ChatGPT 可以从多个不同维度获取数据，通过将训练阶段的社交媒体、新闻、百科、论坛、网站、社区等数据与部署阶段的搜索引擎实时数据的深度融合，更好地理解用户的意图和需求，生成更加准确和自然的回复。从本质上讲，ChatGPT 是对现有数据的深度融合，并不存在创造力，所回答的内容并不会超出现有的知识范围，而且机器本身并不能真正理解所提问题的真实含义，以及它所表达的真实逻辑。因此，既要肯定 ChatGPT 在技术层面的巨大进步，也要认识它的局限性。本质上，ChatGPT 是一个基于大数据人工智能的阶段性成果，并不具有真正意义上的创造力，要实现人工智能领域质的飞跃，还需要相关专家学者的进一步技术“深耕”。

二、ChatGPT 带来的风险

与 ChatGPT 强大的生成能力相伴而生的是一系列风险和挑战。充分认识并应对这些问题，需要深入了解 ChatGPT 面临的风险挑战，并采取相应的措施确保其安全、可靠和有益的应用。

（一）信息安全风险

ChatGPT 的训练数据和算法模型决定了它的内容和输出。由于 ChatGPT 训练数据大多来自网络，其内容本身的真实性、完备性、严谨性无法得到保证，易导致生成内容存在片面、虚假或误导性信息，带来信息混乱，干扰用户获取科学权威信息。此外，如果训练数据中存在特定价值判断、政治偏见或带有意识形态宣传性质的数据内容，就会导致输出的内容呈现特定政治立场观点，甚至成为某些国家和组织进行舆论操控、干扰选举、挑起事端、颠覆活动的意识形态工具，威胁国家安全和社会稳定。美国黑莓公司 2023 年 2 月的研究报告《信息技术领袖预测 ChatGPT 驱动的网络攻击即将到来》（IT Leaders Predict ChatGPT-Enabled Cyberattacks AreImminent）的问卷调查数据表明，71% 的接受调查人员认为，一些国家可能已经将该技术应用于针对其他国家的恶意目的。

（二）网络安全风险

ChatGPT 所用过的训练数据包含了大量的编程语言和技术文档，这就意味着 ChatGPT 具备生成恶意代码的能力。公开资料显示，ChatGPT 被刻意用于创建编写用于间谍、勒索软件、垃圾邮件、社会工程攻击、撞库攻击等恶意代码，降低了实施网络攻击的技术门槛，成为网络攻击者的有力助手。ChatGPT 不断催生新的“一键式”“傻瓜式”的网络攻击手段和工具，加剧了网络犯罪活动自动化、智能化、隐蔽化、大众化，给网络空间安全带来诸多不确定性。记录未来（Recorded Future）公司的一篇名为《我，聊天机器人》的研究报告指出，已在暗网和封闭论坛发现了 1500 多条使用 ChatGPT 进行恶意代码开发的记录。

（三）数据安全风险

非法收集数据、侵犯个人隐私风险。ChatGPT 的训练数据的来源主要是互联网，可能未经过用户同意和授权进行数据训练，并用于提供商业化服务，存在非法收集数据、侵犯个人隐私的风险。开发商 OpenAI 并没有对 ChatGPT 的数据来源做详细说明。OpenAI 的使用条款规定了 OpenAI 对用户输入和输出内容拥有广泛使用权，目的是将其纳入训练数据库、用于改善 ChatGPT。截至目前，OpenAI 并未详细说明该机制将如何有效运行。ChatGPT 具备连续问答功能，收集用户提问轨迹，使用户存在被以熟人式诱导方式推送更多精准信息，获取用户行为习惯、兴趣偏好等隐私信息，进而进行用户“精准画像”，加剧“信息茧房”效应，给用户隐私保护和生命健康带来潜在影响。

敏感数据泄露风险。在发现 ChatGPT 生成的文本中含有疑似商业机密的情况后，微软与亚马逊先后禁止公司员工向 ChatGPT 发送公司机密信息。若用户在输入请求时输入个人相关信息、业务数据或涉及商业秘密等的内容，将增加相关数据泄露的风险。这种数据泄露风险具体可体现在直接泄露与间接泄露两方面。直接泄露与通常意义上的隐私泄露类似，攻击者通过一些手段，窃取了用户的对话内容。间接泄露则是因为采用用户的对话内容（如商业机密、隐私、核心算法等）训练 GPT 模型后，模型具备了上述能力，导致隐私内容可能被其他 ChatGPT 用户获取到。

催生新的“数据霸权”。随着 ChatGPT 的广泛应用，用户规模的快速上涨和数据的频繁交互，ChatGPT 背后的科技公司不断积攒其计算资源更丰富、算法模型更先进、数据质量更优质的先发优势，不断构筑全球数据收集、信息处理、大模型训练的垄断式竞争优势，逐步形成“强者恒强”的马太效应，催生新的“数据霸权”“算法霸权”，继而形成大型科技平台公司的垄断权力，威胁政府公信力。

（四）社会稳定风险

伦理道德。ChatGPT 模型对世界的理解和表现可谓是基于海量数据的一种经验，其道德行为是由它所使用的算法和在决策过程中内置的价值观和道德原则决定的。例如，为自动驾驶汽车设计的人工智能系统可能会优先考虑安全问题，然而，车内人员与车外人员安全的优先级孰轻孰重则很大程度上由设计和执行人工智能系统的人决定，所以，人工智能系统的伦理最终取决于创建它的人的伦理。人工智能系统规模日趋庞大，截至目前，仍缺乏对 ChatGPT 等人工智能生成模型进行审查的系统性方法。如果将生成式人工智能技术用于政治谣言、污蔑抹黑，就会给政治安全和国家安全带来重大危害。

知识产权。ChatGPT 之所以能够回答不同领域的各类问题，是因为它有庞大的语料库和知识库做支撑。利用 ChatGPT 根据输入提示自动生成内容的特性，用户可实现代写课程作业甚至撰写学术论文等创造性工作。从著作权法的角度看，这些通过人工智能技术拼接、整合得到的“答案”是否构成作品、是否存在侵权风险，如何有效评估人工智能创作中的知识产权原创性以及平衡二者之间的矛盾等，都是亟需认真考虑的问题。

三、对策建议

生成式人工智能如 ChatGPT 正逐渐展现出其无限潜力和广阔前景。然而，随着其应用范围的不断扩大，多方面的风险挑战逐渐显现。因此，需要进行引导和管理。

一是完善人工智能发展的顶层设计。以 ChatGPT 为代表的生成式人工智能将成为未来研究热点和产业化新方向，应紧抓发展机遇，完善顶层设计，统筹资源配置，夯实产业根基，规范健康发展，打造人工智能安全发展良性生态。充分发挥科技创新的引领作用，加快核心技术创新突破，鼓励人工智能优势企业加大科研投入，推动新场景、新应用的落地实践，增强我国在人工智能领域的国际竞争力。建议进一步健全相应知识产权保护机制，明确人工智能创作内容的权利归属。既要鼓励人工智能创作，促使人工智能生成技术为社会创造更大价值，又要防止人工智能生成内容的侵权以及大量同质化内容影响自然人创新的积极性。

二是加强风险评估和监督管理。建议从主动鉴别和被动鉴别两个维度，研发高效可靠人工智能生成内容鉴别方法。在主动鉴别方面，加强对相关企业的监管，督促落实信息安全主体责任，建立健全用户注册、信息发布审核、应急处置等技术保障措施，规范开展生成信息内容的标识以及针对敏感重要数据的安全评估工作，确保深度合成类应用符合国家和大众利益。在被动鉴别方面，加强隐藏编码识别、水印加注等技术手段建设，提升人工智能生成内容鉴别准确性，完善针对网络谣言、蓄意抹黑等不良信息内容的治理，净化网络空间。

三是伦理道德治理。人工智能系统所表现出的伦理道德很大程度上由模型的设计者决定。因此，应加强人工智能伦理治理，建设人工智能系统智能评测平台（体系），将“科技向善”等伦理融入人工智能全生命周期。建议将计算机和人工智能从业人员的思想道德建设作为第一道防线，在研发阶段做好治理策略的融入；将人工智能相关企业、行业的自律作为第二道防线，建立企业、行业的自律组织，出台行业自律规范，促使相关企业在技术工程的开发、设计、应用方面均恪守正确的价值观、科技伦理基本原则；将智能评估作为第三道防线，构建严格的伦理领域的风险控制体系和专业的伦理风险控制机制，建立高效可靠的人工智能系统智能评测平台，实现产品立项、发布、运营等全生命周期的人工智能伦理审核；将伦理、政策与法律的多维度监管作为最后一道防线，综合运用社会舆论、政策引导、法律规范等多种力量，引导人工智能技术的安全有序发展。

四是构建完备中文知识体系。ChatGPT 在中文交互服务上存在“知识盲区”“政治偏见”，直接原因是 ChatGPT 的训练数据主要以外文为主，根本原因是中文知识体系在全球知识体系的占比较低。截至 2020 年 3 月，W3Techs 预测，前一百万互联网网站使用的语言文字百分比中，英语占 59.3%，中文仅占 1.3%。要构架更加强大丰富的中文知识体系，一方面，要加强中文推广使用，讲好“中文故事”，另一方面，要加强世界知识体系的中文吸收和转化的能力，用中文“讲述世界故事”，提升中文在世界知识体系的占比。

五是加强数据保护。在技术层面，建议进一步规范互联网数据的获取使用，提升数据使用方式的透明度。模型研发过程需保证训练数据获取的合法性，包括合法使用爬虫技术、合法处理个人信息等；模型应用后应严格保护企业商业秘密和个人隐私，对存在泄露用户隐私风险的场景，应提前征得用户同意。在政策层面，建议进一步加强相关技术标准体系中隐私保护内容的构建，建立隐私数据分类保护制度。在数据的收集和存储、共享和交换、使用和加工等层面，应建立全生命周期的安全标准和规范。同时，应进一步建立健全如隐私条款、合规评估等政策措施，从法律层面确保个人数据的安全。

六是加强人才培养和技能培训。科技竞争的实质是人才，扩大创新型、复合型人才培养。科学技术的竞争，归根结底是人才与教育的竞争。要围绕人工智能等新兴技术建设一支规模大、结构合理、素质优良的创新人才队伍，用足用好国家人才引进政策，加强国外高水平创新团队的引进，注重国内“高素质、拔尖”人才的培养，同时增大我国高（中）等院校在新兴技术人才培养规模，扩大本土创新融合性人才培养。深入推进《提升全民数字素养与技能行动纲要》实施，完善职业技能培训体系，提升高效率，消解“职业恐慌”。引导支持新兴职业群体，积极利用 5G、人工智能、虚拟现实、大数据、区块链等数字技术创新创业。

（本文刊登于《中国信息安全》杂志2023年第7期）