NVIDIA Omniverse™ Audio2Face beta是一个用于将3D角色面部特征动画化以匹配任何配音轨的基础应用程序,无论是用于游戏、电影、实时数字助手,还是仅仅为了娱乐。您可以将这个基于通用场景描述(OpenUSD)的应用程序用于交互式实时应用程序或作为传统的面部动画创作工具。您可以实时运行结果,也可以将其烘焙出来,这取决于您。
Media2Face是一款通过音频、文本和图像多模态引导的共语言面部动画生成工具。它首先利用通用神经参数化面部资产(GNPFA)将面部几何和图像映射到高度通用的表情潜在空间,然后从大量视频中提取高质量的表情和准确的头部姿态,构建了M2F-D数据集。最后,采用GNPFA潜在空间中的扩散模型进行共语言面部动画生成。该工具不仅在面部动画合成方面具有高保真度,还拓展了表现力和样式适应性。