9月24日，在2021中关村论坛之“AI与多学科协同创新”平行论坛上，北京智源人工智能研究院学术副院长、清华大学教授唐杰发布了“冬奥手语播报数字人系统”成果 图片来自/中国科学报 郑金武摄影根据国内统计数据，中国有超过2700万听障人士，对教育、社交、娱乐、信息获取有巨大的需求。如果算上需要与他们交流的亲人、朋友和同事，更是会涉及到上亿人。传统的手语播报，主要靠手势来传递信息，一方面因不同的人有不同的手势习惯，易引起信息传递偏差；另一方面，会造成手语播报主持人翻译工作量大、与节目主持人配合难度高，从某些特定的程度上限制了听障人士对于信息的获取。手语播报AI数字人首先能够尽可能的防止“千人千面”，从始至终保持统一；其次，能够准确的通过收听到的语音，自动实时生成手语手势，提供精确的播报服务。数字手语主播不仅需要真实的数字人形象，也需要能够理解、翻译语音和手语的数字大脑。手语播报数字人，是一个“智能人”，它不仅拥有生动的表情神态、丰富的身体语言，还拥有“大脑”——能够理解、翻译语音和手语的数字双轮驱动虚拟数字脑。它配置了口形、表情、姿态、手部动作等多种素材以便进行“表情管理”。
2021年9月23日，北京，2021年中关村论坛上手语播报数字人 图片来自/视觉中国为了更好的提高冬奥播报的准确性，研发团队还对手语播报数字人进行了“培训”，构建了冬奥手语语料库，包括多模态肢体动作、表情、手指等语料，教授数字脑掌握手语表达的方法。同时，手语数字脑能够最终靠计算机模仿听障人士的大脑，将看到的中文文本信息转换成手语词汇序列，让听障人士实时了解赛事进程。通过AI技术将播报内容翻译合成为手语，并利用数字人虚拟主播来播报，成为解决这一难题的重要方法。手语数字播报的实现，是因为背后有“悟道2.0”超大规模人工智能模型的技术支撑。结合冬奥会的有关信息，悟道大模型能轻松实现文本到手势的自动转化。当播报员播报时，数字人可以将文字转换成手语，方便听障人士收看赛事专题报道，这是“悟道2.0”超大规模预训练模型的首次实际场景应用。依托“数据”与“知识”，冬奥期间赛事新闻实现了实时手语翻译播报，填补了这一领域的空白。
