随着人工智能的深入发展，技术早已走出了实验室，与场景不断融合，同时，在适配场景的过程中进行技术迭代和算法创新，形成技术+场景“双轮驱动”的良性循环。

近日，第29届ACM国际多媒体顶级会议ACM圆满结束，京东探索研究院AI团队凭借多模态交互数字人技术斩获“ACM Multimedia 2021年最佳演示奖”。这项技术在京东已经广泛用于智能客服场景。得到国际顶级学术领域的认可，也意味着京东智能客服言犀也已经从单纯的技术突破过渡到了技术与场景双向循环的阶段。未来，言犀将依托京东深厚的场景优势，在更多场景不断实践落地，推动技术与实体经济的深度融合。

据悉，ACM国际多媒体顶级会议（ACM International Conference on Multimedia, 简称ACM Multimedia）自1993年以来每年召开一次，已成为多媒体领域的顶级盛典。大会致力于推动多媒体的研究和应用，是人工智能多模态研究领域的顶级国际学术会议。

该论文提出了一种具备多模态交互能力的虚拟数字人ViDA- MAN，为即时语音查询提供实时视听响应。与传统的基于文本或语音的系统相比，ViDA-MAN可以生成生动的语音、自然的面部表情和身体姿势；在给定语音请求的条件下，ViDA-MAN能够以亚秒级延迟响应高质量视频。ViDA-MAN 无缝集成了多模态技术，包括声学语音识别 (ASR)、多轮对话、文本到语音 (TTS)、谈话头部视频生成等，提供身临其境的用户体验。ViDA-MAN 能够与用户就多个话题进行对话，包括聊天、天气、设备控制、新闻推荐、预订酒店，以及通过结构化知识回答问题。

目前多模态交互数字人技术，正通过京东云这个统一平台在零售、金融等多个场景大规模落地。在零售领域，虚拟主播带货已广泛应用，通过数字人多模态交互技术，包含语音、情绪、视觉形象等，以“拟人化”的形象为商品配上带货主播和专属客服。在金融领域，京东智能客服言犀推出的VTM数字员工，是全国首个能独立全程办理银行真实交易的数字人，拓展了数字人在银行场景中的应用边界，实现了数字人应用场景从传统的咨询、查询、导览到业务办理的突破，重塑了银行网点的用户体验和服务方式，大幅提升了银行业远程银行的接待能力与服务效率，降低了运营成本。

多模态交互数字人是京东智能客服言犀的一大应用场景。在今年11.11，京东智能客服也正发挥积极作用，涵盖售前、售中、售后、物流等零售的各个服务环节，为消费者提供7×24小时全天候的咨询服务。在京东11.11开场10分钟，京东智能客服累计咨询服务量超181万次，同比提升165%。

京东是一家同时具备实体企业基因和属性、拥有数字技术和能力的新型实体企业，拥有丰富的场景和产业Know-how。未来，京东智能客服·言犀将依托前沿的AI技术和深厚的场景优势，为客户提供涵盖客户服务、营销导购、流程自动化的整体智能化解决方案，并据应用场景不断适配技术，进行跨场景、多模态的交互与融合，技术上推动人工智能技术从感知智能和认知智能到决策智能的跨越，应用上推动服务、营销、运营一体化创新，不仅为京东逾5亿用户提供智能化咨询服务，同时也为零售、政务、金融、交通、制造等行业提供产品与解决方案，助力政企数智化升级。

关键词： 京东言犀