BakedAvatar是一种用于实时神经头像合成的全新表示,可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格,并计算可烘焙到静态纹理中的表情、姿势和视角相关外观,从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线,包括学习连续变形、流形和辐射场,提取分层网格和纹理,以及通过微分光栅化来微调纹理细节。实验结果表明,我们的表示产生了与其他最先进方法相当的综合结果,并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果,包括视图合成、面部重现、表情编辑和姿势编辑,所有这些都以交互式帧率进行。
数据统计
相关导航
Gaussian SLAM
Gaussian SLAM能够从RGBD数据流重建可渲染的3D场景。它是第一个能够以照片级真实感重建现实世界场景的神经RGBD SLAM方法。通过利用3D高斯作为场景表示的主要单元,我们克服了以往方法的局限性。我们观察到传统的3D高斯在单目设置下很难使用:它们无法编码准确的几何信息,并且很难通过单视图顺序监督进行优化。通过扩展传统的3D高斯来编码几何信息,并设计一种新颖的场景表示以及增长和优化它的方法,我们提出了一种能够重建和渲染现实世界数据集的SLAM系统,而且不会牺牲速度和效率。高斯SLAM能够重建和以照片级真实感渲染现实世界场景。我们在常见的合成和真实世界数据集上对我们的方法进行了评估,并将其与其他最先进的SLAM方法进行了比较。最后,我们证明了我们得到的最终3D场景表示可以通过高效的高斯飞溅渲染实时渲染。
暂无评论...