百度AI中台:推动企业AI模型开发和运维

文心一言 1年前 (2023) lida
43 0 0

百度AI中台:推动企业AI模型开发和运维

智东西

作者 | 李水青

编辑 | 漠影

生成式AI(AIGC)正在全球范围内引爆,越来越多的CEO和开发者们意识到,这是实现业务转型和业绩增长的新机遇。通过使用生成式AI技术,企业可以迅速提升其业务效率和创新能力,并在市场上保持竞争优势。

在国内,接入百度对话机器人“文心一言”无疑成为企业进入AIGC赛道“掘金”的一张入场券。根据官方数据,已有超400家企业宣布接入文心一言,覆盖消费、工业、旅游、传媒等各个领域。

无论是让文心一言做搜索引擎的“大脑”,还是基于其开发智能媒体小编、智能家居助手、电商金牌客服等应用……我们看到,AI不仅在口口相传中名气大涨,也在这一过程中变得更加规模化、平民化、普惠化。

百度创始人兼董事长李彦宏在近日的内部信中表示,AI技术已经发展到一个临界点,各行各业都不可避免地被改变,中国AI市场即将迎来爆发性的需求增长。

在生成式AI爆发的前夕,企业接入文心一言这样的应用,无疑意味着其搭上了通往数智化高地的“快班车”。但这显然只是“长征”的第一步。如何让AI技术真正跨越工程化鸿沟,飞跃AI落地的“最后一公里”?这是各行各业的CEO和开发人员眼下关注的问题,因为过去几年AI工程化确实经历了不少挫折。

近日,智东西与百度AI中台的三位资深专家进行了对话,对这一问题进行了深入探讨。百度AI中台是百度智能云旗下的AI开发PaaS(平台即服务)平台,未来将推动文心一言大规模产业落地,为企业提供一系列AI开发和运维工具。

一、400+企业接入文心一言,有多少能抵达“最后一公里”?

百度文心一言将于3月16日正式推出,届时,百度多项主流业务将接入文心一言,包括百度搜索、智能语音助手小度、智能驾驶阿波罗(Apollo)等。已有超400家企业宣布加入文心一言生态圈,享用这一服务。

从AI产业落地的流程来看,接入文心一言或许只是一个开始。

要实现技术到产品的“最后一公里”飞跃并不容易,AI开发工程化尤为重要。如果把AI模型比成一个汽车发动机,AI工程化就好比让一台发动机成为一辆可以自如行驶汽车的工程化过程。

百度AI中台相关负责人告诉智东西,在过去很长时间里,AI工程化面临以下几个显著问题:

随着人工智能技术的不断发展,其开发流程也逐渐变得复杂,需要经历数据采集和标注、模型训练、应用部署等多个环节。这些环节需要耗费大量的时间和精力,同时也带来了一定的规范缺乏问题。通常来说,AI开发流程包括以下环节:数据采集和标注、模型训练、应用部署、数据回流和模型观察。然而,由于行业缺乏规范,这整个流程变得混乱无序,带来了许多问题。

2. 市面上众多AI工具使用门槛高。AI模型面对碎片化场景会效果衰减,企业需要做二次开发。但市面上的AI开发工具不是不好用,就是不符合需求。

3. 客户基础设施不完善、内部孤岛严重、人才短缺。例如,某银行客户各部门建立的17个云系统,各部门孤岛严重、需求难以聚合,加之缺乏专业AI人才,导致花大成本购入的AI技术成为烂尾工程。

为了应对这些AI工程化难题,整套百度AI中台的价值在文心一言的落地中凸显了出来。

百度AI中台是一个PaaS平台,为企业提供AI模型开发和运维的支持。它面向多个行业,包括金融、能源、互联网和教育等,提供人脸识别、OCR、图像、AR、自然语言处理等多种AI能力。这些能力可以简单、快速部署和验证,帮助企业实现AI模型的开发和运维。

百度AI中台相关负责人告诉智东西,一方面,文心一言本身的数据准备、标注、模型训练、应用评估等开发过程,都是基于百度AI中台完成。另一方面用途可能更受企业关注,那就是助力文心一言的应用开发。

百度AI中台提供从数据模型评估、推理优化、数据回流等全生命周期开发工具,保证模型训练效果。在数据标注环节,百度AI中台提供智能标注方式和标注标准,最高可使成本降低70%;在算力消耗方面,百度AI中台能依照规范提高GPU利用率,能提升资源利用率40%~80%。

AI中台提供了一整套工具链,帮助企业实现产品落地的“最后一公里”,实现AI投入的变现。

二、生成式AI爆发前夕,产业呼唤更适合跑AI的云

众所周知,算法、算力和数据是AI落地的三大要素。

当下,基于大模型的AIGC正进入爆发前夜,为人工智能产业的软件、硬件和服务带来海量智能算力需求。据知名调查机构IDC预测,2023年人工智能产业的软件、硬件和服务有望突破5000亿美元大关,智能算力成为产业最大增量。

百度AI中台相关负责人告诉智东西,在这种背景下,产业需要“更适合跑AI的云”。

何谓“更适合跑AI的云”?该负责人解读道,从传统思路来看,云计算主要支撑企业数字化,AI契合智能化升级,往往分阶段完成;但现在,很多企业会选择将数字化和AI化一起规划、齐头并进,效率会高得多——这就需要更适合跑AI的云。而随着生成式AI爆发,适合跑AI的云无疑需要支持大模型,支持更高速效的训练和推理,需要更好的异构算力支持。

这位负责人称,百度AI大底座正是提供了这样的新型AI基础设施。

百度AI大底座是百度十年AI研发成果的集大成者,“全栈自研的AI基础设施”。该基础设施集AI生产全要素于一身,包括自研芯片、大模型、深度学习框架、AI应用等。它可以面向企业真实业务场景进行端到端的全流程调优,帮助企业提高效率、降低成本、提升竞争力。

纵观人工智能产业,我们看到当下市面上实际上已经出现了“AI大装置”等同类产品。但就像“发动机”有很多车企造,每一家的质量水平有所区别一样,百度AI中台负责人告诉智东西,百度AI大底座相比同行竞品的一大特征就是:“全要素”和“端到端”。

百度AI中台:推动企业AI模型开发和运维

百度AI大底座架构图

百度AI大底座由前文提到的AI中台和底层百舸异构计算平台两部分构成。其中,AI中台是用户界面,可调用文心大模型等关键PaaS服务。而百舸异构计算平台则是底层基础设施服务平台,通过自研芯片、计算、存储、加速等多方面技术提供加速算力IaaS服务。

百度AI中台:推动企业AI模型开发和运维

百度AI大底座产品图谱

这位负责人指出,这种端到端的能力十分关键。比如有些企业可能买了最好的AI模型,但由于在开发中缺乏对数据的标注和结果监控,就导致AI应用中间断层,久而久之AI模型就被闲置了。举个具体案例,比如某银行在布局OCR技术中,曾就有旗下七八个部门采购了不同厂商的产品,并不会考虑数据回流等全链条问题,就导致整体效果大打折扣。

百度在一定程度上建立了在生成式AI爆发前夕的技术优势。根据IDC数据,百度智能云已连续四年居AI公有云市场第一。这种先发优势,很有可能在AI大模型时代保持叠层效果。

三、AI走向平民化,百度要打造人人能用的AI开发平台

生成式AI的爆发也意味着AI进一步走向“平民化”。

这种核心价值层面的升维,不仅大大提升了AI的知名度,实际上也对AI开发工具提出了更加深刻的要求。

大模型本身可以帮助企业简化AI工程化流程,企业只需结合具体业务场景进行小样本调优即可获得所需应用。

但与此同时,承载了“平民化”期待的生成式AI,需要在工程化中延续这一“普惠”价值。新的问题就出现了:大模型拥有巨量参数,一次调优涉及的资源消耗依然可观;同时这类技术往往进入企业业务核心,带来更高价值的同时,一旦出问题后果会更严重。

因此要实现真正的AI平民化,一整套高效易用的AI规范与标准、工具平台尤为重要,而这需要产学研多方力量共同努力。

面向AI普惠发展诉求,百度已积极参与行动。2022年底,为了引导产业有序发展,中国信息通信研究院联合百度、阿里、华为、“AI四小龙”等几十家优秀企业编制了MLOps系列标准。MLOps(Machine Learning Operations),简单来说,是指AI开发与运维的全流程。信通院MLOps标准则可以理解为一本汇集AI开发全流程的最佳实践“宝典”,其诞生标志国内AI开发从混乱无序走向标准统一,将大幅提升AI开发质量和效率。

在这一背景下,百度AI中台已首批通过信通院MLOps系列标准,意味着其能够让企业获得最专业的AI开发服务,以业界较低的成本开发出需要的AI应用。换句话说,MLOps标准提供了一套AI软件项目研发和运营的方法论,百度AI中台则为企业提供了对应方法论的“绝佳工具”。

百度AI中台相关负责人说,百度智能云企业AI开发平台的整体能力在需求管理、数据工程和模型开发三个模块均达到了旗舰级水平。

百度AI中台在功能方面拥有完善的需求和代码管理流程,支持可视化建模、自动化建模、作业建模、工作流等建模方式,具备完备高效的底层计算资源管理模式,同时拥有全面的模型管理能力和数据管理平台,以及丰富的质检能力。

百度AI中台在服务过程中拥有极高的组织结构、流程管理和管理工具水平,能够为外部企业客户的需求提供快速、高质量的响应。

百度AI中台相关负责人告诉智东西,在AI基础设施能力获得权威认证背后,AI普惠实际上是百度智能云长期以来的一大核心价值。

2016年,百度发布了国内第一个深度学习框架——飞桨,随后百度内部开始“赛马”做多个机器学习平台。2018年,这些平台脱颖而出,成为百度内部重要的技术输出,高级开发能力的BML、低门槛开发的EasyDL、以及用户实训比赛社区的AI Studio三大平台备受瞩目。

2020年,百度将三大平台进行整合,按照MLOps的流程将业务划分为样本数据中心、开发中心、模型中心和服务运行平台四大阶段板块,实现了人工智能开发运维的全生命周期。在一年三到四次迭代的过程中,这一平台最终实现了AI开发低门槛的目标。

可以看到,通过八年内部赛马打造百度AI中台,百度正将其“反馈驱动创新”的科学方法论赋能给企业,更将其AI普惠价值传达给行业。

结语:生成式AI风起,云智一体趋势凸显

当下,我国人工智能产业在经历了十几年波峰波谷之后,正乘着生成式AI技术的东风迎来新的春天。凭借技术属性和社会人才等各方面条件,AI技术落地的广度深度延展,正走向规模化、平民化、普惠化。

企业数字化和智能化转型是当前的重要议题。接入文心一言等产品是实现这一目标的一种方式。尽管国产力量与OpenAI等国际公司在某些领域仍存在差距,但百度文心一言无疑是国内企业吃到AI技术新红利的“快车道”入口。

企业接入大平台大模型只是一个开始。下一步,如何基于AI大模型进行二次开发、数据挖掘、优化调优及部署测试,让AI实现“最后一公里”飞跃,成为更关键的问题。

随着对AI落地的理解越来越深入,我们逐渐意识到,实现这一目标需要算法、算力和数据之间的紧密合作。因此,产业需要更好的云,而云智一体也成为了云计算产业发展的重要趋势。

关键词:生成式AI、AIGC、百度AI中台、文心一言、人工智能、企业、数字化、智能化、算力、数据、算法、算力和数据、云计算、云智一体、AI落地、企业接入、二次开发、数据挖掘、优化调优、部署测试。

版权声明:lida 发表于 2023年3月16日 pm5:57。
转载请注明:百度AI中台:推动企业AI模型开发和运维 | ChatGPT资源导航

相关文章