Synthesizing Moving People with 3D Control
本产品基于扩散模型的框架,用于从单张图像生成给定目标3D运动序列的人物动画。其核心组件包括学习有关人体和服装不可见部分的先验知识,并以适当的服装和纹理渲染新的身体姿势。我们训练模型在纹理地图空间上,使其对姿势和视角不变,从而更加高效。此外,我们开发了一个基于扩散的渲染管线,由3D人体姿势控制,可产生逼真的人物渲染图像。我们的方法能够生成符合3D姿势目标的图像序列,并在视觉上与输入图像相似。同时,3D控制允许生成各种合成摄像机轨迹来渲染人物。实验证明,相比先前的方法,我们的方法能够生成持续运动和复杂姿势的图像序列。