北京2022年冬奥会、冬残奥会期间，北京卫视里露脸的一个“冬奥手语播报数字人”， 可以给咱们供给全流程智能化的手语生成服务，用手语依据语音主动播报冬奥会相关信息，使听障集体也能享用冬奥赛事盛况。
该“冬奥手语播报数字人”由北京市科委“科技冬奥”专班托付，智谱AI、凌云光和北京播送电视台联合打造，并得到了北京市残疾人联合会和市残联聋人协会的大力支持。
“该体系以超大规划预练习模型为核心技能，自主建立多模态肢体动作、表情、手指同步收集体系，运用跨模态拟人生成算法、超高精度写实数字人等职业抢先技能，完成冬奥期间赛事新闻的实时专业手语翻译播报。”智谱AI相关负责人表明。
据介绍，《国家通用手语常用词表》和《国家通用盲文计划》于2018年作为语言文字规范正式对外发布。为了推行和遍及国家通用手语，“冬奥手语播报数字人”体系完成了《国家通用手语词典》录入的8214条通用手语的收集和录制，而且语法都以听障集体习气打法为准，以保证手语播报效果的准确性和专业度，更好地服务听障人群。
因为当时国内短少较完善的手语语料数据，研制人员在北京市残疾人联合会和市残联聋人协会的支持下，约请超越40余位聋人教师及手语专家进行手语文本转写和技能指导，并进行大范围听障集体评测，终究构建了契合国家通用手语规范的国内规划最大多模态手语语料库，词汇及句子总规划超10万。
为构建可以了解、翻译语音和手语的智能数字大脑，“冬奥手语播报数字人”体系以超大规划预练习模型为核心技能，经过语义蒸馏及手语翻译快编模型，完成新闻播报语音实时蒸馏成语义高度挨近的手语文字，并翻译成契合手语习气的语序。
终究，手语数字脑可以终究靠计算机仿照听障人士的大脑，进行实时手语播报驱动。
此外，为完成高精度、高天然度的人物形象和手语动作姿势，研制团队还自主建立了多模态肢体动作、表情、手指同步收集体系。经过收集多模态动作捕捉数据，运用跨模态拟人生成算法对超写实数字人进行天然、流通的实时驱动和烘托，完成对文本内容的实时手语播报。
其间，经过肌肉绑定技能驱动完成面部收集，结合业界抢先的语音辨认及高清视频组成等技能，出现给听障人群亲热天然的冬奥手语播报服务。
研制人员表明，手语播报数字人的使用场景广泛，一方面可以为新闻媒体供给全流程智能化的数字人手语生成服务，便利听障人士快速了解新闻简讯；另一方面可将声响播送内容转化为手语，为听障人士播报冬奥会赛事赛情、赛场成果，便于获取即时信息。
“冬奥手语播报数字人”已于2月5日开端在北京冬奥会期间正式投入使用，不只能为听障人士供给手语信息播报服务，下降冬奥运营本钱，还方便了听障人士收看赛事专题报道，提高他们的社会参加度和幸福感。
我国当地手语不一致，手语播报数字人的推行可加快国家通用手语推行落地，推进国家通用手语规范遍及，为残疾人相等参加社会生活发明无障碍环境，让科技更有温度。“更重要的是，它表现了北京这座城市对残疾人集体的尊重，完成了科技和人文的完美结合。” 智谱AI相关负责人表明。
智谱AI CTO张鹏表明：“冬奥手语播报数字人的使用展示了公司让机器像人相同考虑的愿景。不只使听障人士能方便获取冬奥赛事资讯，还将无障碍环境理念传递到数亿人群。智谱AI将继续深化数据和常识双轮驱动的战略，打造强壮而通用的AI体系，经过立异助力咱们国家的人工智能生态建设，让技能发明更多价值。”
