GPT-3模型

最近一段时间,ChatGPT及其相关的技术、软件等等,都已经成为互联网圈的关注热点。那么关于ChatGPT和ChatGPT所产生的影响,你究竟知道多少?本文便针对ChatGPT做出了十问十答,一起来看一下。 1. ChatGPT是由哪家公司开发的? 2. ChatGPT的工作原理是什么? 3. ChatGPT能够产生什么样的效果? 4. ChatGPT会对人工智能的发展产生怎样的影响? 5. ChatGPT是否会产生伦理问题? 6. ChatGPT是否会影响其他人工智能技术的发展? 7. ChatGPT是否会影响人类用户的使用体验? 8. ChatGPT是否会影响人工智能领域的研究成果? 9. ChatGPT会对人工智能的就业产生怎样的影响? 10. ChatGPT是否会影响人工智能的透明度和可解释性? 通过回答这些问题,我们可以更深入地了解ChatGPT的影响和意义。

GPT-3模型

人工智能大模型、量子计算、类脑智能、云原生、数字引擎、音视频等技术的深入发展,新技术、新模式和新业态持续涌现。为了让大家了解这些前沿科技,我们策划了一个科普系列栏目《T-chat前沿热点问答》,通过十问十答的形式,用通俗的语言,与大家一起交流最新、最热的前沿科技话题。我们也欢迎大家提出感兴趣的问题,一起研究,迭代认知,共同进步。

ChatGPT作为现象级热点,近期笔者收到了很多来自各方的咨询,大家对于其技术、影响等内容都非常关心,于是有了写作本文的想法,请各位专家和业界同仁不吝指正。

一、ChatGPT现在有多火?

2022年11月30日,ChatGPT于横空出世,在全球范围内引起了热烈的讨论。据 Similarweb 的数据,今年1月,平均每天约有1300万独立访客使用 ChatGPT,是去年12月的两倍多,累计用户超1亿,创下了互联网最快破亿应用的记录。这一壮举超过了之前 TikTok 9个月破亿的速度。ChatGPT 的出现让人们在聊天中实现真正的智能,让人们可以与计算机进行无延迟的交互,为人工智能的发展和应用带来了新的方向。

除了广大用户千奇百怪的问题,引发了社交媒体的大量传播,ChatGPT在各领域的秀肌肉,也进一步强化了其知名度。美国宾夕法尼亚大学发现,ChatGPT能够通过该校工商管理硕士MBA课程的期末考试。《自然》杂志1月24日宣布,将人工智能工具列为作者的论文,不能在杂志上发表。《自然》称,作者身份意味着对作品负有责任,而人工智能工具无法承担这样的责任。据传,ChatGPT还成功通过了谷歌的编程面试,拿到了年薪18.3万美元的L3工程师offer。

二、ChatGPT背后的核心技术?

ChatGPT 是生成式 AI 的一种形式,被Gartner 列为《2022年度重要战略技术趋势》的第一位。据Gartner的估计,到2025年,生成式 AI 将占到所有生成数据的10%,但目前这个比例还不足1%。

GPT-3模型

在去年的腾讯研究院《2022十大数字科技前沿应用趋势》报告中,我们详细阐述了人工智能大模型的技术点。当前的人工智能模型大多针对特定的场景应用进行训练,因此生成的模型难以迁移到其他应用,属于“小模型”的范畴。这个过程需要手工调参,并且需要给机器喂养海量的标注数据,但这样会降低人工智能的研发效率,且成本较高。

大模型通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后,在其他场景的应用中,开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。在训练大模型时,通常会使用无标注的大数据集进行自监督学习,以训练模型的自适应性和鲁棒性。在模型得到训练后,开发者可以在新的场景下对模型进行微调,或者使用少量的数据进行二次训练,以适应新的场景需求。这种模型训练方法的优点是具有大规模、高鲁棒性和灵活性,可以应用于多种领域。

大模型的改进可以让整个人工智能系统受益,并提高研发效率,这是业界重点投入的方向。因此,许多公司,包括Open AI、谷歌、脸书、微软、百度、阿里、腾讯、华为和智源研究院等,都推出了超大模型。特别是OpenAI的GPT 3大模型,在翻译、问答、内容生成等领域的表现不俗,这让人们看到了实现通用人工智能的希望。当前,ChatGPT的版本为GPT 3.5,这是GPT 3之上的调优,能力进一步增强。

ChatGPT使用的核心技术之一是Transformer。这从其全称上也能看得出来,

ChatGenerativePre-trainedTransformer。Transformer技术是近几年人工智能技术最大的亮点之一,他是Google于2017年提出的一种采用注意力机制的深度学习模型,可以按输入数据各部分重要性的不同,而分配不同的权重。Transformer的精度和性能上都要优于之前流行的CNN(卷积神经网络)、RNN(循环神经网络)等模型,大幅提升了模型训练的效果,让人工智能得以在更大模型、更多数据、更强算力的基础上进一步增强能力。此外,他还具有很强的跨模态能力,不仅在NLP(自然语言理解)领域表现优异,在语音、图像方面也显示出了优异的性能。

三、ChatGPT为什么能成功?

ChatGPT是非常成功的一次从技术研发到工程化、再到点燃大众热情的经典案例。

1. 技术创新

Open AI在持续的研究过程中,不断探索新的技术路线,并引入强化学习这一新的技术来提高模型的效果。在研究中,Open AI引入了人类专家,通过专家与模型的合作,帮助ChatGPT撰写更符合人类习惯的回答,并对生成的结果进行排名。这样的奖励机制可以促进模型的微调优化,进一步提高模型的效果。

GPT-3模型

2. 组织文化

Open AI自成立之初,就致力于打造通用AI的能力,并坚定的持续投入,这是ChatGPT成功的一大关键因素。在这样的愿景下,吸引了一大批高水平的人才,在没有任何商业KPI的情况下心无旁骛地开展研发工作,最终取得了重大的突破。

3. 反馈机制

Open AI利用用户的使用行为,收集用户对模型优劣和使用体验的反馈,从而形成了模型使用到反馈的闭环,进而不断优化模型。为此,Open AI还组织专门的反馈竞赛,鼓励用户针对回答中的风险危害、新颖的回答建议等方面给予反馈,参赛者有机会赢取500美元的 API 积分,并可兑换相应奖品。

4. 项目策划

一个影响力出圈的技术,与其项目策划密不可分。ChatGPT的问答和多轮对话形式,很好地激发了大众的热情和创造力,大家基于各自感兴趣的话题自由发挥,或幽默搞笑、或严肃认真,在朋友圈和媒体上屡屡刷屏。GPT3的推出,也让他写新闻、作诗、翻译、编代码等能力成为社会热议和讨论的焦点。这种很好地与公众互动的项目设计策略,也很值得我们学习。包括之前AlphaGo的围棋大战、Deepmind破解蛋白质折叠结构难题,都是很好的议题任务设置,引发了广泛的讨论和关注。

四、ChatGPT是否开源?

尚未开源,目前是以API(应用程序编程接口)调用的方式服务,目前也暂无开源计划。

Open AI存在不开源的问题,这是受到业界许多人诟病的地方。但开源是软件和互联网产业蓬勃发展的核心动力之一。通过开源的方式,可以调动全球开发者的积极性,每个人都可以在社区下载、使用和分享源代码,从而推动技术创新和优化。这种全社会共同参与的创新机制,大幅加速了技术科研攻关和产业应用的进程。因此,Open AI不开源的问题,应该通过更加开放和开源的方式来解决。

关于ChatGPT为何不开源,业界也有一些专家表示认可,因为人工智能技术至今为止还是一个黑盒,关于其内部的机制尚未可知,如果代码开源,很难避免该技术用于一些不利于社会和人类的方面。此外,自从Open AI放弃了非盈利组织的定位,接受微软等投资后,从商业化的角度考虑,也会采取整体模型闭源,开放应用接口的方式来推广,同时也会开源少部分模型,丰富开发者生态。

五、ChatGPT免费吗?未来能赚钱吗?

当前,普通用户使用ChatGPT 是免费的。

据《财富》杂志报道,2022年,OpenAI公司的收入预计不足3000万美元,净亏损5.45亿美元。随着ChatGPT的火爆,OpenAI可能进一步增加其亏损,因为用户每一次调用,都会让OpenAI付出更多的计算资源和带宽成本。

当然,Open AI也开始了商业化的尝试。2023年2月,OpenAI宣布推出付费试点订阅计划ChatGPT Plus,定价每月20美元。付费版功能包括高峰时段免排队、快速响应以及优先获得新功能和改进等。

Open AI预测,随着ChatGPT成为吸引客户的重要工具,其收入将会快速增长。预计2023年收入2亿美元,2024年收入预计超过10亿美元。

微软正在洽谈向 OpenAI 投资约 100 亿美元,将其估值炒至 290 亿美元,这一事件引起了广泛关注。此前,微软曾在 2019 年向 OpenAI 投资 10 亿美元,为其提供了大量的资金支持和 Azure 云算力支持。这一投资规模再次证明了微软对人工智能领域的决心和信心。

六、ChatGPT会替代搜索引擎吗?

短期来说,不会。长期来看,有可能通过融合,形成新型的搜索引擎。

目前的ChatGPT给出的答案参差不齐,既能够给出很多问题的简要答案,甚至能够写一篇符合初级规划师水平的产业规划报告,但ChatGPT也不可避免地经常出现“一本正经的胡说八道”的情况,这使得其置信度还需进一步提升。尽管ChatGPT目前的知识库主要还是2021年9月之前的数据,缺乏新数据,这也大大限制了其提供新信息的能力。而同时,Open AI还推出了WebGPT,它可以在网络上查找信息并提供信息来源,这将很大程度上补充ChatGPT的实时信息源,从而进一步优化答案。

在搜索引擎的逻辑下,用户的选择权在手中。搜索引擎会给出众多相关结果,并根据用户的点击反馈来持续优化搜索结果。近年来,搜索引擎也一直在做结果唯一化的尝试,比如直接在搜索框中提供唯一的答案选择。尽管可提供唯一结果的比较有限,但搜索引擎正在努力扩展多轮对话,为用户提供更多的选择。

ChatGPT的推出,给搜索引擎厂商带来了很大的震动,也启发了其打造搜索新体验的方向。谷歌两位创始人多次召开讨论会,以应对 ChatGPT 可能带来的颠覆搜索引擎业务的潜力。谷歌CEO Pichai表示,将在近期推出类似ChatGPT的基于人工智能的大型语言模型,一款由 LaMDA 提供支持的对话AI服务 Bard,让用户以“搜索伴侣”的形式使用。微软已经在 Bing搜索引擎中添加了 ChatGPT 功能,并开展了小流量测试。百度也计划在3月推出新功能,在搜索引擎中加入类似ChatGPT的对话式机器人“文心一言”。

我们也可以看看ChatGPT自己的回答:

GPT-3模型

七、还有哪些类似ChatGPT的模型和应用?

ChatGPT 是典型的 AIGC(Artificial Intelligence and Game-Gating)大模型,目前在国内外多个领域都涌现出相应的生成模型。在文本领域,有 GPT-3.5、OpenAI 的 BERT、百度的 BERT+GPT 等;在代码领域,有 OpenAI 的 GPT-2.5、百度的 GPT-2、微软的 Hugging Face 等;在图像领域,有百度的 GPT-3、OpenAI 的 GPT-2.5、微软的 Hugging Face 等;在视频领域,有百度的 GPT-1.5、OpenAI 的 GPT-2、微软的 Hugging Face 等;在 3D 领域,有百度的 GPT-3.5、OpenAI 的 GPT-2、微软的 Hugging Face 等。这些模型都取得了巨大的成功,并在各自的领域中发挥着重要的作用。

当前,ChatGPT一个有力的竞争者是Claude,他是Anthropic近期推出的生成式Al模型。Anthropic由几位前OpenAl的研究员在2021年创立,包括OpenAl前研究副总裁Dario Amodei、GPT-3论文一作Tom Brown等人。据《金融时报》报道,2022年底,Google向这家初创公司投资了约3亿美元。相比ChatGPT,Anthropic在其网站上更强调其构建“可靠、可解释和可操纵的人工智能系统”的工作。

腾讯的混元大模型,集CV(计算机视觉)、NLP(自然语言理解)、多模态理解能力于一体,实现了跨模态领域的大满贯。该模型先后在MSR-VTT、MSVD等五大权威数据集榜单中登顶,成为AI领域的佼佼者。2022年5月,混元模型在CLUE(中文语言理解评测集合)总排行榜、阅读理解、大规模知识图谱三个榜单同时登顶,一举打破三项纪录。12月,混元推出国内首个低成本、可落地的NLP万亿大模型,并再次登顶自然语言理解任务榜单CLUE。该模型使用千亿模型热启动,最快仅用256卡在一天内即可完成万亿参数大模型HunYuan-NLP 1T的训练,整体训练成本仅为直接冷启动训练万亿模型的1/8。

GPT-3模型

图片来源:红杉资本《Generative AI: A Creative New World》

八、ChatGPT等大模型会让我们实现通用人工智能吗?

自2020年6月GPT3推出以来,业界对于达成通用人工智能的探讨逐渐升温。微软CEO纳德拉近日在接受华尔街日报采访时指出,GPT的发展不是线性的,而是指数级变化的,因此当前表现更强的GPT3.5已经展示出了更强的能力。据预测,GPT4将在今年推出,并具备更强大的通用能力,成为人工智能领域的下一个里程碑。

但同时,我们也需要有清晰的辨识,AI并非万能。即无论AI如何强大,其解决的问题,也只是人类面临所有问题的很小一部分。因为现实世界中有海量的问题并不是数学问题,也就不可能通过计算来求解。目前人工智能已经找到解决方案的问题,也只是可计算问题的一小部分。

GPT-3模型

九、ChatGPT可能产生哪些社会或伦理问题?

ChatGPT也面临人工智能长期以来面临的问题,如歧视等伦理问题,被滥用于诈骗、欺诈、政治造谣、伪造身份等安全问题,以及知识产权问题。最近,OpenAI表示,正考虑在ChatGPT中添加模型水印,即监测模型可以识别的特殊标记,以降低模型滥用的问题。

针对大众普遍担心的失业问题,ChatGPT 在 LinkedIn 上分享了一篇帖子写道:“AI 不会取代你。一个使用 AI 的人将取代你”。

GPT-3模型

十、ChatGPT的未来将带来哪些变革和新机会?

ChatGPT自己的回答,已展现出其发展的一种典型路径,即作为人类的陪伴机器人。

GPT-3模型

但更重要的,ChatGPT会成为未来人机交互的一个新入口,很可能改变现有APP的交互方式,以更为自然的对话方式,让用户来使用软件和调用技能。例如,未来在文档编辑软件中,人们可以通过描述需求,让软件直接生成文字内容,或者生成一个图形,甚至直接进行修图等工作。在编程方面,ChatGPT这种即时编程的方式,将改变传统的工作方式和应用交互规则,推动产业进入软件3.0的新阶段。

除此之外,ChatGPT未来还可以有多样化的应用前景:

数字人是一个热门话题。数字人的外表虽然吸引人,但只有具备有趣的灵魂的数字人才能陪伴和服务人类。为此,我们需要使用类似ChatGPT这样的模型提供对话能力。这些模型可以嵌入到数字人的身体内,让数字人更加聪明,更像人类。

ChatGPT等底层平台提供了大模型的基础,让开发者可以根据不同行业和场景进行模型调优,从而创造出各类满足用户需求的丰富应用。这形成了对话式AI的生态,为用户提供了更多的选择和体验。

国外火爆的Jasper,通过在GPT3模型上的微调,可以帮助用户撰写营销文案,甚至有人在上面完成了一部 12 万字的小说。Jasper使用GPT3模型进行微调,为用户提供了撰写营销文案和完成小说等任务的机会。用户可以免费试用1万个单词的版本,之后可以29美元订购2万个单词的版本,或59美元订购生成5万个单词的权限。Jasper的用户包括IBM、Airbnb、Autodesk等大企业。普通用户可以免费试用1万个单词的版本,之后可以29美元订购2万个单词的版本,或59美元订购生成5万个单词的权限。对于需要大量文本生成的任务,Jasper也提供了高级版本,可以生成100万或500万单词的文本。虽然Jasper是一款备受欢迎的工具,但它的使用需要用户具备一定的编程技能和对自然语言处理的理解。

在教育、医疗、广告营销、电子商务、市场和战略咨询、企业服务、编写代码等专业服务领域,人类助手成为更为专业的助手,不仅可以生成内容,还可以调用各种专业能力,甚至替代部分初级的专业工作。

在2月8日,微软宣布推出由 ChatGPT 提供技术支持的高级 Teams 产品,该服务可以帮助参会者自动生成会议记录,即使没有参加会议,用户也可以通过智能回顾功能生成会议记录和要点。此外,ChatGPT 还可以为用户提供个性化的时间线标记,以快速查看分享和讨论的内容。该服务将在6月份每月收费7美元,然后在7月份增加到10美元。在代码编写方面,特斯拉前任AI总监 Andrej Karpathy 透露,现在他80%的代码都是由 AI 生成的(GitHub Copilot),而且有80%的准确率。

新的组合式创新:与其他模态AI工具的集成。ChatGPT可以与文字生成图、视频生成、甚至3D模型生成工具集成,带来极大的丰富内容,成为内容工业化的核心引擎。

未来,ChatGPT与更多的AI、云计算等信息技术的集成创新,将创造改变生产力曲线的工具,成为经济发展新动力。

作者:王强,腾讯研究院资深专家,前沿科技研究中心主任

来源公众号:腾讯研究院(ID:cyberlawrc),腾讯研究院是腾讯公司设立的社会科学研究机构。

本文由人人都是产品经理合作媒体 @腾讯研究院 授权发布,未经许可,禁止转载。

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

GPT 是一种基于生成对抗网络(GAN)的深度学习模型,可以生成文本、图像、视频等内容。ChatGPT 是一个基于 GPT 的聊天机器人,它可以进行自然语言对话,回答用户的问题和提供信息。ChatGPT 的出现引起了业界的广泛关注,它可以帮助人们快速获取信息、撰写文章、编写代码等,对于提高工作效率和生活质量具有重要意义。同时,ChatGPT 也面临着一些问题,如模型的透明度、模型的滥用、模型的改进等,需要持续的研究和发展。

版权声明:lida 发表于 2023年3月15日 pm12:00。
转载请注明:GPT-3模型 | ChatGPT资源导航

相关文章