DynVideo-E
DynVideo-E是一款利用动态NeRF技术进行大规模运动和视角变化的人体视频编辑工具。该工具将视频表示为3D前景规范化的人体空间,结合变形场和3D背景静态空间。通过利用重建损失、2D个性化扩散先验、3D扩散先验和局部部分超分辨率等技术,在多视角多姿势配置下编辑可动的规范化人体空间。同时,通过特征空间的风格转换损失将参考风格转移到3D背景模型中。用户可以在编辑后的视频-NeRF模型中根据源视频相机姿态进行相应的渲染。DynVideo-E不仅能够处理短视频,还能够处理大规模运动和视角变化的人体视频,为用户提供了更多直接可控的编辑方式。该工具在两个具有挑战性的数据集上的实验证明,相比于现有方法,DynVideo-E在人类偏好方面取得了50% ~ 95%的显著优势。DynVideo-E的代码和数据将会向社区发布。