1月初的一个早晨,京东智能客户服务产品部紧急开会,进行关于尚未对外公布的“X项目”的初讨论。
1月5日,这个神秘的X项目对外公布,京东成为央视2022年春晚独家互动合作伙伴,保留项目“给全国人民发红包”由京东承包了。
没人会低估春晚的力量。即使是多次经历京东618、京东11.11等高并发数亿级流量洪峰的团队,在全国十几亿观众面前仍然保持着紧张、谨慎、兢业。
“当时面临很多未知,唯一确定的是,系统的稳定性和并发量要做到极致。”京东智能客服言犀团队的软件开发工程师彭定邦告诉“深响”,团队里许多成员跟他有着相似的第一反应, “有点懵,又很紧张,也蛮兴奋”。
团队最初的“懵”来自于这个任务的绝对难度。春晚有近13亿的观众规模,脉冲式的流量高峰使其成为互联网大厂技术能力的试炼场。红包互动的峰值达到数亿级别,加上愈加复杂的交互场景以及需要保障全国人民使用体验的责任,都让团队压力重重。
京东云自主研发的京东智能客服言犀(下称言犀)在这场“战役”中的重要性不言而喻——
言犀是京东结合语音语义、知识获取与推理、情感智能、人机对话与交互、多模态内容智能、决策智能等AI技术和与全链条客户服务场景深度融合打造的系列智能服务产品,已经在成熟支持电商等京东集团内部业务,能力也开始输出给外部的合作伙伴。
作为与用户直接联络接触的端口,言犀是超大规模流量的“接待员”,除了应对常规客服问询,在春节春晚的特殊背景下,言犀还需要做得更多:回答用户“春晚活动规则”、“如何查看春晚奖励”、“如何使用春晚红包”。又因为是消费红包,言犀要为红包使用的售后、物流环节提供服务,还要针对春节这个对所有华人来说特殊的时间节点做节日氛围渲染。
这场春晚注定是京东智能交互服务的“成人礼”,年货节启动至春晚结束,言犀共计服务5.5亿次,为16.5万商家提供1亿次服务,物流大件外呼累计290万通,将能力最大化展现给了全国人民。
言犀团队如何在短时间内完成任务抗住考验?此次项目背后有怎样积年累月技术和产品服务经验沉淀?在AI商业化进入快车道,带来更多想象力的当下,京东智能客服的能力如何外延拓展?
春晚倒计时
嘀嗒,嘀嗒,嘀嗒,春晚倒计时开始。 留给团队的时间不到一个月。
时间紧张,激动的情绪必须平复下来,各项部署和拉齐开始争分夺秒地进行,言犀团队内部成立“SWAT快速反应部队”备战。这是一个由内部经验丰富的核心业务骨干组成的小组,包括算法、产品、工程以及测试整个条线的工作人员。
其中有经历过20次备战的京东老员工,也有年轻的新鲜血液:负责系统研发的梁仕强、马浩,架构师彭定邦,负责应答机器人算法的俞晓光,负责春晚策略设计、优化的产品经理李杨晶、关力,负责质量保障和性能压测的张大建......这个名单很长。
得益于数次京东618、京东11.11等大促的经验,言犀团队节奏稳健,周六启动、周日盘点、周一就拉齐团队进行了计划制定。但是相比往年的大促,春晚还是有其特殊性,难点拆解下来主要有三点:
首先是对流量动态和峰值的预测。
经过与业务方以及有过春晚红包项目经验的团队的交流,考虑到春晚流量峰值巨大,且相较大促累计持续时间更长,当晚包含7轮互动活动。为了保险起见,团队需完成的目标是达到可以一秒内同时承接上万人的咨询。
用何晓冬的话说,“这次春晚项目应该属于人机对话与交互应用的珠穆朗玛峰了”。
作为业内顶级的AI科学家,何晓冬见证了深度学习及人工智能技术迎来新一轮爆发,也经历了数个618、11.11,但春晚却是第一次。
其次,在智能客服自主应答的完成度上,面向全国人民的春晚项目需要更高。
虽然言犀已经在服务京东超5亿的消费者以及商家,平日里,可以承担起六七成的咨询量,做到独立接待。但是春晚的峰值让大规模人员调度成为不可能的事,因此,95%的咨询量都将由机器人来支撑,而且要做到“接的起、答得上、答得好”。这无疑是对言犀整套系统性能、架构的挑战。
第三,在体验和功能上,虽然言犀已经可以支撑内部业务需求。但是春晚是个之前从未做过的场景,对模型的通用性和迁移性而言是考验。
而且,言犀在春晚不仅仅是个App客服的角色,还要修炼新技能跟用户互动营造节日氛围,比如对对联、猜灯谜等,让科技的呈现更有年味儿。
虽说任务艰巨,但是士气高涨,毕竟春晚项目对于每个技术人来说也是不可多得的一次锻炼机会。办公室里挂起了数条红底横幅,“一起干件大事,不负每份热爱”,“智能客服就看言犀,对话服务永不宕机”......
这个除夕夜,很多京东人早早就做好了留守公司保障春晚项目的准备。亲人在家看春晚,自己在“守护”他们的红包,也是一种团圆。
“从容”才是关键词
春晚红包从来不缺戏剧性的故事,历届春晚互动合作伙伴除了获得充足的流量,同时也会带来不小的技术压力。
反观京东的部署,其关键词或许是“从容”。
多年以来,京东内部要求大促备战常态化,面对京东618、京东11.11,甚至春晚,团队并不会有超常规的动作。常态化方案的应对,200%重视的心态。“我们的系统随时可以上大战场,来之即战,战之必胜,这是现在这个团队所具备的能力。”京东智能客服前台产品与运营部总经理刘丹在与“深响”的对话中表示。
从容不迫的态度背后是技术和经验沉淀带来的底气。哪有什么天赋异禀,不过是百炼成钢。
面对春晚的流量洪峰,以及春晚活动叠加日常网购业务的复杂场景,京东做到了“开源节流”,通过云原生技术,实现快速弹性的资源配备,全过程没有增加一台服务器。
资源有效利用对各个环节的运行而言是最底层的保障,让齿轮真正转动了起来,在应用、体验上游刃有余地去做研发。
接到任务之后,摆在言犀团队眼前的问题就是如何拆解本次任务?
言犀的算法工程师俞晓光详细解释了背后的秘密:
第一,言犀长期积累的数据强化技术就发挥了作用,通过深度生成模型,结合大模型预训练、意图一致性约束、多任务学习、受限解码等技术,能够无中生有地产出海量语料,大大提升了模型的覆盖度和识别意图的精准度。
第二,模型本身有泛化、迁移能力,意思是说,可以从其他领域积累的知识点基础上进行调整。这跟人的学习过程可以类比,从小学到大学,每一步并非完全从零开始,而是在之前的知识和思考模式基础上进阶。
言犀通过模型蒸馏、模型量化、优化线上实时推理引擎等方式,将大规模预训练语言模型蒸馏为轻量级预训练模型,从而在保证效果不出现显著损失的前提下,模型的推理速度和并发性能得到10倍左右的提升,最终在资源、性能、效果三者取得一个比较好的平衡点。
在春晚之前的一次对话中,当被问到对于这次项目的准备能打几分时,俞晓光自信地说“当然是100分”。
作为在智能客服团队8年的元老,他一路看着言犀从“小孩”到“成人”的进化,从摸索着做简单的文本一问一答,到产生有上下文能力的真正对话,到能力继续外延,可以做到识别意图,主动服务。言犀变得越来越流畅,越来越“聪明”。而春晚这个特殊的项目,就是言犀的一次“成人礼”。
AI的情感智能也是这次近几年言犀发力的重点目标之一。智能客服这类服务被用户诟病的无非就是两点,一是不够准确,二是太机械化。随着言犀的IQ在提升,EQ也在进步。
“京东的情感智能,是在解决问题的能力之上提供温暖。”言犀的产品经理李杨晶说。
举个简单的例子,这种带有人情味的服务体现在,当用户催促快递时,客服不仅仅会说“请不要着急,我正在帮您催”,也会主动在某个时间点接触用户,告诉他物流的进展或是送上代金券作为补偿。在这次春晚红包项目中,言犀也有识别情绪的能力,像人一样去安抚、开玩笑,但都建立在能解决问题的基础之上。
按着制定好节奏走,从容,但不松懈。打磨持续进行中,团队通过一轮轮压测发现问题,优化系统瓶颈,也为春晚设计了多个应急预案。在正式上线前,团队进行了不止7次压测。
春晚尚未来到的时候,让子弹再飞一会儿。
春晚不是起点,也不是终点
《难忘今宵》熟悉的旋律响起,晚会圆满结束,近2000名在公司度过除夕夜的京东工程师们悬着的心也随之放下。
春晚4个多小时,京东APP红包累计互动量达691亿次,顺利通过这次最强考验。不少网友马上在社交媒体上晒出自己抢到的红包和使用订单,分享“薅”到了羊毛的开心。把红包和优惠顺畅地给到全国人民,不就是这半个多月以来这群京东人备战的目标吗?
但对于言犀来说,这既不是起点,也不是终点。
着眼整个智能客服行业,因其成本低、可24小时在线、服务标准化等天然优势,普及范围逐年扩大,应用场景多元,行业规模不断扩大。据艾媒咨询数据显示,2020年中国人工智能核心产业规模达到1500亿元,预计2030年将达到1万亿元,随之,2021年中国智能客服行业整体市场规模预计超过了400亿元。智能客服作为企业AI应用的重要分支,保守估计占比20%。
许多正处于数字化浪潮中行业也将智能客服作为降本增效的手段之一。政务、金融、零售等等行业的客户希望看到应答能力更强、解决问题效率更高的智能客服,并与原有的数字化系统形成耦合。
随着行业的发展,智能客户服务还不止于传统客服。
它可以满足服务、营销、运营一体化需求,并且能够贯穿服务客户的全生命周期。随着AI技术的成熟,客户服务从一个传统上的成本项走向利润的创造,可以与营销、获客相结合,提升用户粘性。还可以通过人机协作,提供最好的客户体验。
要满足这样的需求,技术、行业认知、服务,都是必要条件。
近年来,京东科技智能客户服务产品部从微软、苹果等科技巨头吸收人才,在各大国际级学术会议发表论文220余篇,创造了260余项技术突破和创新,获得国内外权威科技奖项60余个,多次获得人工智能领域国际大赛冠军,团队也在实战中历练,不断优化算法和模型。
经过多年沉淀,言犀这套智能对话与交互系统,已经涵盖了“在线咨询机器人”、“语音外呼”、“语音导航”、“语音应答”、“数字人”以及面向商家的“京小智”服销一体化智能SaaS产品。
行业认知层面,言犀首先经过京东内部业务的验证,在零售场景具有极强的优势。而且在2019年开启商业化后, 通过一个又一个实际案例,在政务、金融、零售、泛互等各个行业积累、完善有强复用性的场景经验。
为满足客户快速部署的需求,言犀系统高度模块化,能与原业务系统兼容,从而能高效交付。随着商业化步伐的加快,边际成本递减效益越来越明显,更低的部署成本让言犀的大规模商用成为可能。例如针对春晚活动的知识库配置,提供了一套全自动分析的流程,完善了线上识别、实时数据挖掘、新语料的解决方案,3分钟即可快速上线,保障了活动期间识别和应答无空白区域。
春晚项目是最新的实证。成功抗住春晚这个史上最高的智能人机对话与交互的SaaS流量洪峰是京东AI技术产品化发展路上的一个里程碑。总结京东的这场备战,坚实的底层技术支持、先进的算法模型、运营和产品体验的精细化、团队的备战经验和精神, 缺一不可。
一次春晚,也让更多人了解到了智能客服产品现在的水平和能力,“他们”早就不是人们印象中的那个“听不懂话的客服了”。
随着AI不断深入和落地,像京东这样有业务、有场景的公司正在展示出更大的智能未来前景。一方面是对前沿技术的迅速应用,另一方面则是在落地应用和数据迭代中,创造出更强的模型和研究成果。
言犀将如何进化?技术人的攻坚和场景需求正在不断碰撞出新的火花。