如何将LLM大语言模型融入ToBSaaS智能客服？挑战与创新路径

学会提问 1年前 (2023) lida

50 0 0

文章主题：ChatGPT, LLM 大语言模型, 智能客服, 产品搭建策略

🌟🚀ChatGPT引领潮流，LLM与SaaS融合秘籍大公开🔍💡🔥探索未来，LLM赋能ToB，打造智能客服新纪元🤖💼想要将这股AI浪潮转化为实际生产力，将超凡语言模型融入企业服务软件？别急，这里有一套实用的集成策略等着你！🚀1️⃣ **深度定制** – 个性化训练，针对行业需求定制专属模型，确保精准回应客户痛点🎯2️⃣ **无缝对接** – API接口快速集成，轻松实现LLM与现有系统的无缝协作，提升效率流畅度🌈3️⃣ **数据安全** – 强化隐私保护，合规运营，让业务和用户信息安心无忧🛡️4️⃣ **持续优化** – 持续学习与迭代，确保模型始终保持最佳状态，服务升级无间断🔧5️⃣ **案例示范** – 查看成功落地案例，借鉴经验，加速你的转型之路🏃‍♂️拥抱技术革新，LLM+SaaS的未来无限可能！🚀一起开启智能客服新篇章✨记得关注我们的最新动态，获取更多关于如何将LLM应用于ToB领域的深度解析和技术分享！👩‍💻💼

就聊聊当下热门话题：ChatGPT 在智能客服产品中该如何落地？

🔥ChatGPT热浪席卷，AI客服新纪元！🚀面对这场技术革新风暴，企业如何将LLM大模型成功融入ToB SaaS的智能客服中呢？💡首先，理解业务需求至关重要。客户问题千变万化，LLM需具备强大的语义理解和生成能力，才能精准回应，提升服务效率。🔍其次，数据是大脑的粮食。海量训练数据是模型的灵魂，企业需确保数据质量和隐私保护，让AI客服真正“听懂”用户。📊然后，定制化策略不可忽视。针对行业特性，将LLM与现有CRM系统无缝对接，打造专属智能助手，提升用户体验。🛠️最后，持续优化和迭代是关键。随着技术的不断演进，模型需要根据实际反馈进行动态调整，以保持最佳表现。🚀别再让ChatGPT的光芒遮住你的创新视野！拥抱AI客服新时代，为企业赋能，引领潮流！💼💻🌟

首先，先来解决一个值不值得做的问题：智能客服领域，值得用 LLM 大语言模型进行智能化产品改造嘛？

产品的几个典型特征汇总下：

人力密集：

智能客服，是一个高度依赖人工操作的系统，有解放生产力的内在需求。

数据密集：

🌟智能客服不仅是强大的工具，它还能转化为宝贵的资源库！通过收集和分析会话详情、通话内容、音频记录及操作历史，这些数据就像是人工智能生长的秘密花园。有了它们，AI的应用就能如春草般繁茂，为业务发展提供强大驱动力。🌱

流程可定义：

这类产品，往往都可以有典型的业务流程抽象：如 IVR 语音交互、外呼任务、工单流转等。

有智能化应用基础：

🌟🚀智能客服领域引领潮流！AI技术革新，从文本到语音，无处不在的智慧助手让交互体验升级。🏆文本机器人与语音机器人的无缝对接，客户服务的智能化程度已达巋峰，用户心智早已适应并信任这一变革。🌍无论何时何地，只需轻轻一触，贴心服务随时待命。💻智能质检更是保障质量的有力盾牌，确保每个环节都精准无误。🚀让我们一起见证AI客服如何塑造未来客户服务的新篇章！🌟

🌟💡在AI时代，寻找潜力无限的土壤🌍——一个具备老旧生产力工具但仍需升级的传统行业，标准化但数据海量，对新技术开放接纳的领域，无疑是LLM（法律人工智能）大展拳脚的理想之地🌱。这些行业虽看似保守，实则蕴藏着创新与变革的机遇，等待着AI技术的革新性赋能。\📈📊通过深度学习和法律逻辑，LLM不仅能优化生产流程，提升数据价值，还能在法律领域提供精准解决方案，引领法规适应科技发展，实现产业升级。\💼联系方式：[隐藏]——我们专注于为这样的行业转型提供策略指导，帮助你抓住这一历史性的技术革新浪潮。\📝若您对如何利用LLM驱动业务增长感兴趣，欢迎随时联系我们，让我们一起探索这片充满潜力的疆域！🚀

只不过。这片田地在现阶段 LLM 们眼中看来，还是小了一点而已。

如果值得做，那么如何做？

这就是一个见仁见智的问题了，大家的产品架构不同，目标客群不同、业务规模不同、主打产品各异。

🌟假设您已拥有经过充分测试且运行稳定的成熟产品，不想让LLM带来翻天覆地的变化，以免对用户体验造成困扰。那么，如何巧妙地融入而不破坏既有架构呢？💡

提倡拥抱变化，嘴上鼓吹 AGI 通用人工智能带来行业巨变，这些都没问题，真要不破不立，付出真金白银的代价来决策，去执行，还是一个很难抉择的命题。

1. 架构设计问题

审视本身产品架构，是否具备 LLM 大语言模型落地基础。

可以理解、由于历史原因，当前主打产品架构陈旧，模块化解耦不完善，性能瓶颈无法解决，但因为跑着很多生产客户，轻易无法改动。这种情况下，再塞入 ChatGPT 到整个架构中，将带来更多沉重压力。

那么第一步先想清楚，是打算好好优化下，还是另辟蹊径，单独做一个外围 LLM 应用。

好比老房子改造，是不是要打算做做基础施工，还是简单刷刷墙、做下软装得了。

历史包袱较重的话，也不妨另起炉灶，聚拢有心气的一支精锐之师冲一下。也算是给原有池塘中投入一只鲶鱼。

2. 工具设计问题

做顶层应用设计之前，我们需要先梳理工具。如 AI 引擎管理、数据建模工具、意图管理管理、标签标注和管理，流程生成工具，业务构建工具等等……

ChatGPT 能力的引入，相较于以前智能客服产品所沉淀的基于自然语言处理、语义理解、意图识别，关键字和正则处理等方式，带来颠覆性的改变。借助其能力涌现，上下文关联，逻辑链提示处理等方式，原有的手把手定义流程，字词句填槽的旧模式，势必得到极大改变。

如果以前构建复杂 AI 应用，需要是半编程化的方式，用 ChatGPT 们来实现，打个比方更像是 RPG 游戏编程工具，以场景搭建、角色扮演，提示格式化、逻辑化，辅以人工反馈监督的模式去进行。

为什么不能是呢。如果我们做的足够好用，是不是也可以直接邀请用户参与到 ” 游戏 ” 开发中来？

另外，很多工具本身，更可借助 ChatGPT 进行智能化的改造。以更高效和智能的方式来处理数据、生成数据。

如进行自动训练和标注、知识库的自动化扩充、来代替语料手工标注，代替传统问答对的低效人力处理，给出标准问，自动扩展相似问等等。

3. 应用设计问题

最后说说智能客服应用层面的设计，这里是用户可感知的界面和内容。

我们来根据智能客服的一些典型场景，看看 ChatGPT 们的优势能力，可带来哪些富有想象力的改变。

1）增强型对话能力

不可否认，ChatGPT 带来了极其强大的对话能力，我们万分期待，甚至开始脑补其进入智能客服对话中的效果。

但是很遗憾，智能客服产品领域内的对话，是一个非常典型的限定业务领域、任务驱动的对话需求，我们客户肯定不希望访客进来，是寻找一个超高智能、善解人意、能写会画的陪聊机器人。

会话内容必须收敛于企业业务范畴内，服务于客服和营销场景下，解决和处理问题，不要浪费宝贵的资源。

不加控制的直接引入 ChatGPT 到客服领域，那感觉就好比你回家撞见扫地机器人不干活，和隔壁的智能吸尘器聊的你侬我侬，是不是恨不得一棒子打死了事！

所以，构建增强型对话能力，一方面我们借助 ChatGPT 简化了对话流程设计：以前需要设定 N 多个意图，关联无数个上下文才能实现的方式，现在开箱即用，自然语言对话获取、格式化提示完成限定任务、收集访客数据和意向。另外，通过私有化训练和公共文本数据的结合，对访客提供不僵化、更优质的回答体验。

ChatGPT 和传统文本，语音机器人能力的结合，会给智能客服的机器人服务能力带来质的飞跃。

2）智能质检

传统智能质检已经是非常成熟的解决方案，但如果通过 ChatGPT，投入预训练和一定的业务规则定义，可以实现无需复杂设定，更智能的质检结果输出。

我们向模型内投入一定数量的优质录音、文本，然后告知 ChatGPT 都有哪些加分因子、让他自动判别生产数据的质检情况，然后不断通过手工质检的对齐调优，让 ChatGPT 持续不断学习和改进。

3）智能化辅助

同理，对于座席侧智能辅助功能，也是可以通过对优质样本的投喂，正确流程和加分因子的定义，不断的让 ChatGPT 在数据滋养下，实时对座席给出更好的辅助能力。原有的辅助功能框架可以保留，但是内里是一个不断进化，自动学习的 ” 业务助理 “

4）内训机器人

基于智能质检和智能辅助的基本能力，针对使用场景是企业内训的机器人，也完全可以基于现有数据样本，更自动化的生成内训 ” 教官 “，我们业务管理人员，可以针对岗前培训、业务流程、服务过程设定不同内训主题，一定量标准语料训练后，让内训机器人指导座席进行自我训练，这种对于强调学习能力和管理能力的运营型客户，很有吸引力。

5）智能填单类

智能客服应用中，有大量需要手工输入的表单：客户资料、跟进记录、服务工单，目前市面上 CRM 领域已经出现借助 ChatGPT 进行智能填单的实验性应用。按以往的实现方式，必须有复杂的工程化设计，将会话文本实时匹配，借助词性分析，语义分析和关键字查找等方式，使用表现往往不尽如人意。我们可以期待 LLM 大语言模型的超强能力可以有效提升这类型产品的实用度。

6）从帮助中心到座席助理

全功能的智能客服产品已经是一个非常庞大的产品体系，功能多如牛毛，上手难度很高。

很多产品的设计，需要操作者进行到处跳转去查找、配置、调整。以往的帮助形式，除了简单的页面的功能提示，就是如 wiki 一般厚重的在线帮助页面，对使用者说不上友好，对开发者也有持续更新维护的沉重负担。

而使用智能助理模式的在线帮助，不同角色的人员可以通过对话式的简单体验，来获取使用上的实时协助，甚至一些功能型的配置和要求，聪明的助理也可以准确理解使用者的对话，直接进行配置和改变。

比如：系统管理员唤起智能配置助理：

” 小 C 小 C，帮我查找一个近半个月名字叫做 *** 的客户所有访问和对话记录 “

这个对小 C 的能力来说，就是小 case 了。

” 小 C 小 C，我需要设置一个清明节的 IVR 语音导航，所有清明节时间呼入的电话，都提示这样一句话：***”

这个要求嘛，还是有一定风险，出于谨慎目的，小 C 还需要和你反复确认一些关键配置要素，确认无误才去执行。

7）AIGC 知识库

智能客服产品中，最需要内容生产能力的地方，莫过于知识库。

产品必备的知识库通常分几类：内部知识库、机器人知识库和外部知识库。

① 内部知识库

是提供给座席使用者，会话中实时定位查询使用。企业的业务变化多端，知识库的调整要及时到位。对于内部知识库的整理。一般需要专人进行上传、编辑、整理，用过的都知道这是一个非常耗费工作量的事情。

ChatGPT 的引入，能协助高效智能的归类，自动生成知识库类目、明细。如果增加对外部数据源的引用，知识库还可以自动关联，减少知识库同步的操作。使用者在应用中，可给与知识点反馈，能帮助知识库进行权重自动调节。

② 机器人知识库

文本和语音机器人能够回答访客问题，依赖机器人知识库的有效内容。一旦无法命中，机器人只能回避或者推荐其他知识点。对于未知问题的整理，是需要智能客服使用者大量投入工作量的一个地方。

同样，对于调用量远大于内部知识库的机器人知识库来说，借助用户反馈来对未知问题进行自动整理和关联，能节省很多知识库维护者的工作。我们也可以通过多机器人组合的方式，在一通会话中接力棒一般服务于客户的不同场景，那么被训练好的 ChatGPT 专属机器人，也可以在特定的场合发挥能力，并可以逐步替代一些以往模式僵化的问答型机器人。

③ 外部知识库

如果企业有知识门户的需求，需要整合在智能客服产品中，如果不把这类产品算作一个独立品类的话，基于 ChatGPT 的多模态的 AIGC 能力，可以更方便的将已整理的知识内容转化为输出产物，更方便的生成知识文章、图片、甚至音视频，快速生成一个个性化的知识空间。

充分发挥 ChatGPT 创造性的工作，这里还有很多的想象空间。

④ 数据预测类应用

最后我想到的一个品类，是基于对智能客服数据的预测分析。作为以往智能客服类产品的一个 ” 短板 “，建设数据预测类产品可能需要很重的 CDP 数据平台建设，CEM 客户体验管理等方式，如果 ChatGPT 可以更高效精准的进行销售意向，行为，成交概率的预测，对利润中心导向的智能客服产品，将具有很大价值。

4. 商业化前景

以上，完全只是构想，甚至算是空想，想要做出真正落地的应用，我们更应该同步关注这些问题：

投入产出比？

可衡量的客户认可和价值体现？

通用性与行业性？

数据风险和监管安全？

这样的问题继续深入下去，将有很多的扩展，也不是我这一篇短文就能聊清楚。后续我会随着思考和实践，再单独分类整理。

ChatGPT 们的到来，首先让我们震惊，然后是思考，更重要是发现全新的机会。

所知有限，期待与大家的深入交流。

最后的最后，来看看 ChatGPT 和文心一言对这个问题的解答吧

公众号：通信产品的那些事

本文由 @通信产品的那些事原创发布于人人都是产品经理，未经作者许可，禁止转载。