国内独角兽能否撑到GPT-4?对话复旦教授看大模型未来

AI老师 9个月前 lida
319 0 0

文章主题:关键词:中美大模型差距, GPT-4水平, AGI, OpenAI

666ChatGPT办公新姿势,助力做AI时代先行者!

复旦教授谈中美大模型差距:国内独角兽如果不走错,咬咬牙能撑到GPT-4水平

搜狐科技《思想大爆炸——对话科学家》栏目第69期,对话复旦大学计算机科学技术学院教授张奇。

嘉宾简介:张奇,复旦大学计算机科学技术学院教授、博士生导师,复旦眸思(MouSi)大模型负责人,MOSS大模型核心人员,兼任中国中文信息学会理事。发表论文150余篇,获得美国授权专利4项,著有《自然语言处理导论》、《大规模语言模型:从理论到实践》。

国内独角兽能否撑到GPT-4?对话复旦教授看大模型未来

划重点:

🌟Claude3虽名列榜首,但超越GPT-4的含金量并不等同于其排名本身。实际上,与GPT-4的直接较量中,用户仍能感受到显著的技术差距。尽管进步显著,大幅超越的前景依然模糊。🚀SEO优化提示:#技术挑战#GPT-4#未来超越

🌟[GPT-4: 文本理解新高峰,技术瓶颈与未来展望】🚀随着人工智能领域的不断突破,我们见证了统计机器学习在文本理解方面的卓越飞跃——GPT-4无疑树立了这一领域的又一座里程碑。然而,攀爬创新的顶峰并非易事,它带来的挑战与技术曲线的放缓迹象并存。🌟大模型技术的发展正逐步进入一个成熟期,增长的步伐开始放慢,这不仅是对现有能力的考验,更是对未来突破的呼唤。我们期待看到如何在既有基础上,跨越这一可能的技术鸿沟。🔍尽管如此,这并不意味着停滞不前——反而,它可能是孕育新突破和革新的契机。探索更为高效、精准且人性化的文本处理方式,将是未来AI研究者们的重要课题。🌟SEO优化提示:GPT-4, AI技术进步, 文本理解高峰, 模型增长放缓, 技术瓶颈, 未来发展

🌟 AGI的基石无疑是强大的推理技能,然而当前市面上的大型模型在这方面仍存在显著不足。若无法突破这一瓶颈,即便拥有再庞大的模型阵容,AGI的梦想也难以成真。🚀原文中的技术细节和具体联系可以巧妙地融入到改写后的描述中,例如提到”先进的AI算法如何通过深度学习提升推理效能”,或者”行业领先的团队如何致力于研发能够实现强推理的大规模模型”等,这样既能保持信息的准确性,又避免了直接提及个人或公司。同时,确保使用关键词和短语与目标搜索引擎优化的主题相关,如”AGI发展”、”推理技术进步”等。例如:🚀通过先进的AI算法和深度学习技术的不断演进,我们正见证着大型模型在推理能力上的显著跃升。然而,迈向通用人工智能的道路并非一蹴而就,强大的推理技能是实现这一目标的关键所在。🔍这样既保留了原意,又进行了适当的优化,符合SEO要求。

🌟关注未来趋势,国内大模型发展面临挑战💡。尽管资源有限,但技术创新的步伐不容忽视🚀。若对技术有坚定信念,并寻求资金支持,跟随OpenAI的脚步是明智之举🌈。然而,仅靠资金并非唯一关键,创新实践同样重要🔍。即使暂时无法跟进,保持探索和学习的态度,未来总有追赶的机会🌈。别忘了,每个阶段的突破都需要时间和耐心,坚持才是王道🏆!

🌟🚀保持对OpenAI创新的密切关注,虽然投资规模可能与之相当,但我们坚信实现这一目标并不需要天文数字——远低于10亿至20亿美金的大手笔。尽管挑战重重,但只要技术可行且市场需求明确,我们对未来的合作充满期待。🌍💡

出品 | 搜狐科技

作者 | 梁昌均

🌟🚀引领未来,不止模仿步伐!💡曾经,对OpenAI的挑战与探索,是技术创新的热切追求。而现在,一个崭新的里程碑由 Anthropic 打破,他们成功地将追赶梦想变为现实。🏆💡拥抱变革,不只停留在跟随,而是跃升至引领者的行列。让我们一起,以开放的心态,学习他们的智慧,成为那个定义未来的力量。🚀🌈想要超越?不妨先理解并超越他们所展示的卓越。OpenAI或许仍是灯塔,而 Anthropic 正在点亮新的篇章。🏆💡🌟

这家被谷歌、亚马逊等投资的公司最新推出的大模型Claude 3,评测性能碾压GPT-4,成为OpenAI的最强竞对。这似乎又让国内大模型燃起了希望——OpenAI并不是无法超越的神话。

不过,复旦大学计算科学技术学院教授张奇对此保持着冷静。作为国内高校率先推出对话式大语言模型MOSS的核心研发人员,张奇对国内外大模型进展,时刻保持着关注。

他认为,榜单参考意义不大,从其团队评测和实际体验来看,GPT-4仍然领先,想要达到GPT-4还是很难,大幅度超越的可能性就更小。

早前,OpenAI剧透文生视频模型Sora,逼真的视频效果再次惊艳科技圈。周鸿祎甚至直言,Sora将AGI的实现从10年缩短到1年。

“它生成视频的长度、精度及效果比较惊艳,而且加了世界模拟,使大家有无限的遐想。”但张奇认为,Sora还无法通过视频学习到物理世界的知识,四条腿的蚂蚁就是例证。

张奇表示,大模型现在最弱的就是推理能力,这是AGI(通用人工智能)最核心的能力,但在统计机器学习的范畴下,其很难提升。

“如果大模型不具备推理能力,那它就是一个知识的压缩器和检索器,AGI就不可能实现。从这种角度上来看,我个人觉得AGI还远着呢。”张奇说。

无论是ChatGPT,还是Sora,都是暴力美学的胜利,其背后则是scaling law(规模定律)在发挥作用,甚至不少观点视其为大模型时代的“摩尔定律”。

张奇认为,scaling law带来的是知识记忆和多任务混合能力的提升,但最核心的还是要具备推理能力,只扩大参数没有太大意义。

同时,他认为,大模型的技术增长曲线放缓会非常快,且现在已经处于放缓的状态。“GPT-4应该是统计机器学习在文本理解上的一个巅峰,再往上难度可能很大。”

目前,业内都普遍预计OpenAI会在年内发布GPT-5。张奇判断称,GPT-5在技术线路上不会有大的改变,会加上视频理解,是否会有视频生成要看Sora何时正式发布,惊艳程度则要看它如何找一些特定应用场景来展示。

随着OpenAI不断掏出新的武器,国内外的差距也一直是争议焦点。目前,国内大模型市场派居多,这种情况下,我们是否还要追赶 OpenAI?

张奇表示,要想全面追赶OpenAI,难度很大,如果没有更多的资源持续投入,那肯定差距会扩大。“如果有技术信仰,又能搞到资金,就应该去follow OpenAI,如果不去试,那永远不可能追得上。”

金沙江创投主管合伙人朱啸虎此前认为,跟着OpenAI后面走,能少花一个数量级的钱。对此,张奇并不认同。

“我们follow OpenAI的工作,所要花的钱可能并不会比OpenAI少。”他认为,这件事并没有捷径,很多基础的钱逃不掉,技术试错成本很高。

据张奇团队预测,完全复现GPT-4,至少需要20亿人民币,稍微走些弯路,可能就需要40亿以上,然后还需要用户推广等商业资金,因此需要百亿资金或10亿-20亿美金,才有可能做成。不过,张奇坚信,国内一定会有一家公司做成,追上OpenAI。

当然,张奇也表示,如果拿不到这么多的投资,那就选择场景,做产品落地。“但怎么达到用户长期稳定的使用,或者是否可以大幅度提升效率,这样的场景是不是有?大家也都比较焦虑这件事情。”

大模型似乎陷入了技术和商业的两难当中,是一往无前,还是掉头转向,可能会是接下来很多公司需要做出的抉择。

以下是访谈节选(经编辑整理优化)

GPT-4仍很难超越,GPT-5会有视频理解

搜狐科技:不久前发布的Claude3性能号称碾压GPT-4,您怎么看?

张奇:我们自己的数据集评测下来,初步结果,感觉它并没有超过GPT-4。伯克利大学做的LMSYS评测,应该也没有超过GPT-4。榜单的意义可能越来越低,尤其是公开的测试数据,参考意义基本为零,更多还是要看真实的使用体验。我认为现在达到GPT-4可能依然很难,大幅度超越的可能性很小。

搜狐科技:Claude3在多模态上说超过GPT-4,目前业内对大模型多模态怎么看的,尤其是Sora出来以后?

张奇:多模态主要就是多模态的生成和理解。大语言模型一定要具备多模态的理解能力,不仅仅是图片,还包含video。生成能力有很多评价维度,也没有好的评价准则和手段,要看用户自己的体验、对指令的服从等。OpenAI的视频生成技术,至少现在可能没有人敢说可以达到它的效果。

搜狐科技:Sora很惊艳,也引发了争议,一方认为这意味着AGI实现大大缩短,但杨立昆等人不以为然,您怎么看它对AGI的意义?

张奇:文本生成视频,OpenAI今年一定会做,这没有超出预期,但生成视频的长度和精度以及效果比较惊艳,而且它加了世界模拟这样一个词语,使得大家有无限的遐想。如果它看视频就能学会物理世界的知识,那当然对推动AGI有很大帮助。但从目前的技术路线和角度来看,我个人觉得它根本就没有学世界知识,还是相关性,并没有学到因果。

搜狐科技:很多人都预测OpenAI今年一定会发GPT-5,您预计它会在哪些方面提升?还能带来惊艳的效果吗?

张奇:GPT-5技术路线不会有大的改变,它一定会加上视频理解,生成视频不确定。Sora迟迟不往外发布,我觉得是效果太差的原因。视频生成的稳定性、一致性、连贯性等问题,可能用统计学习的方法很难避免。其它部分可能就是做些升级,惊艳程度就看它怎么找一些特定应用场景来展示。

技术增长曲线已在放缓,大模型推理能力还很弱

搜狐科技:ChatGP刚出来很惊艳,现在感觉技术增长曲线是不是在放缓,您怎么判断的呢?

张奇:我觉得GPT-4应该是统计机器学习在文本理解上的一个巅峰,再往上我觉得难度可能很大。当然可以再投入更大的资源,把60分、70分的部分提到90分,但这不改变本质。技术曲线肯定会放缓非常快,现在已经处于放缓的状态。

搜狐科技:ChatGPT和Sora背后都是scaling law在发挥作用,很多人认为这是大模型性能提升的核心,您怎么看?

张奇:很多人提的scaling law更多是说所谓的涌现,以及模型足够大了之后,这东西就是AGI了,这我不是很认可。它能提升知识的记忆能力,但能灵活运用吗?能融汇贯通吗?我觉得最核心的在于它是否具备真正的逻辑推理能力,仅仅是知识记忆能力,或者只扩大参数,没有太大意义。

搜狐科技:大模型被视为AGI的一条路径,离AGI还有多远也有很多讨论,从AGI角度来看,目前大模型最缺什么?

张奇:AGI如果缩小定义来看,就是要去完成人的智力工作,那我觉得最核心的就是要具备语言知识学习和推理的能力。学习对模型来说难度非常大,很多常识知识,它答不上来,也学不会。

人用的最多的就是演绎推理和归纳推理,但现在大模型推理能力还很弱,它能不能扩展,程度有多大,还要去做研究。如果大模型不能构建出来推理能力,达到非常好的泛化能力,它就是一个知识的压缩器和检索器。那我觉得靠大模型这条路线,AGI就不可能实现。从这种角度上来看,我个人觉得AGI还远着呢。

搜狐科技:为什么现在大模型还学不会推理?OpenAI也做不到?

张奇:这条路径不一定是对的,Transformer、大规模无监督训练,都仅仅体现的是相关性,很难学习到因果性。这种神经网络架构,依然还是统计机器学习的范畴。

我觉得再往后发展,应该完全脱离统计机器学习的架构。但是脱离之后难度在于哪儿呢?因果性怎么体现,怎么建模,没有好的数学方法和工具。这可能需要非常有creative idea的人做,现有的商业逻辑也支撑不了这件事情。

复现GPT-4至少要20亿,能搞到钱就应follow OpenAI

搜狐科技:Sora出来以后,GPT-5可能也要发,很多人觉得我们跟OpenAI的差距更大了,您觉得呢?

张奇:GPT-4出来,大家都说一年后要追上,Sora出来后,国内基本没人说跟了。OpenAI在发GPT-3.5的时候就已经烧了40亿美金,Sora可能没有五亿人民币或一亿美金做不到。OpenAI有很多条线,Agent、GPT-5、GPTs等,每条线可能一年都是上亿美金的消耗。全面追赶,我觉得难度很大,如果没有这么大的资源持续投入,那差距肯定会扩大。

搜狐科技:很多公司曾表态要赶超OpenAI,但现在想的更多是怎么去赚钱,市场派成了主导,怎么看这种转变?

张奇:大厂前面为了复现GPT-4,可能十几个亿扔下去了,还没有达到这个水平,然后还要去进行产品化,体现在使用人数跟B端买单的token数。但如果投入和回报严重偏差,那往后更多投入肯定心里会打鼓。

所以现在更多考虑说,基于GPT-3.5到GPT-4的中间状态,进行转化。如果有正向回报,那肯定愿意投。但怎么达到用户长期稳定的使用,或者是否可以大幅度提升效率,这样的场景是不是有?我觉得大家也都比较焦虑这件事情。

搜狐科技:在差距扩大、市场导向的情况下,我们到底还要不要去follow OpenAI?

张奇:如果有技术信仰,又能搞到资金,就应该去follow。如果没有钱去试,那永远不可能追得上OpenAI。国内应该有投资机构站出来,大规模地去投,他们可能会从商业逻辑上考虑,但还是应该有人应该坚定地投下去。

搜狐科技:朱啸虎此前说我们跟着后面走,能少花很多钱,您也是这么看?

张奇:我觉得我们follow OpenAI的工作,所要花的钱可能并不会比OpenAI少。按我们的估算,完全复现GPT-4,不走弯路,可能至少要20亿人民币;稍微走点弯路,可能要往40亿去烧,还得再准备用户推广等商业部分,所以没有百亿或者10亿-20亿美金,这事儿基本没啥希望。

如果能够拿到这么大的资源,就去复现GPT-4,但真正意义上达到GPT-4,可能并没有捷径,很多基础的钱逃不掉,有人愿意投资当然是最好的。如果拿不到,那就选择场景,做产品落地。

搜狐科技:很多公司曾说要做中国的OpenAI,我们还有技术信仰能赶超吗?

张奇:我觉得并不是说国内没有这样的技术信仰,国外也就仅此一家,Google都不敢投。OpenAI在2020年前的投资大部分都是捐赠,没有考虑回报,但国内很难找到这样的投资商,并且这么大规模。国内能不能有这样的环境,让科学家们可以坚持20年,就认准自己的事情去做,国内这方面长期缺乏。

现在国内至少有五家都是独角兽规模,如果不走错,咬咬牙应该能支撑看到GPT-4这些情况。但稍微走错一点,可能公司就没了。这个风险很大,试错成本很高,国内的人才差距也很大。但我相信中国肯定会有一家能成,大概率是这五家中的一家。返回搜狐,查看更多

责任编辑:

国内独角兽能否撑到GPT-4?对话复旦教授看大模型未来

AI时代,掌握AI大模型第一手资讯!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

扫码右边公众号,驾驭AI生产力!

版权声明:lida 发表于 2024年4月12日 pm12:47。
转载请注明:国内独角兽能否撑到GPT-4?对话复旦教授看大模型未来 | ChatGPT资源导航

相关文章