金融界2024年4月1日消息,据国家知识产权局公告,清华大学申请一项名为“结合表情基准点与视位辅助的数字人动画生成方法及装置“,公开号CN117788655A,申请日期为2024年1月。
专利摘要显示,本申请涉及数字人智能技术领域,特别涉及一种结合表情基准点与视位辅助的数字人动画生成方法、装置、电子设备及存储介质,其中,方法包括:根据人脸表情数据生成基准点数据集;将视位序列和标准视位的口型动画信息输入至Audio‑to‑Blendshape模型中,以结合视位信息对基准点数据集的基准点信息进行调整,输出视位辅助修正后的基准点向量;以及将基准点向量与语音和数字人脸基本模型一起进入UnReal混合与渲染引擎与插件,生成最终的数字人脸表情动画。由此,解决了相关技术中,由于基于基准点驱动面部表情,神经网络模型生成图形的质量没有保证、鲁棒性较低,基于视位驱动面部表情,无法产生丰富的表情和变化,且模式固定,导致迁移性较差等问题。
来源:金融界