HyFluid是一种从稀疏多视角视频中推断流体密度和速度场的神经方法。与现有的神经动力学重建方法不同,HyFluid能够准确估计密度并揭示底层速度,克服了流体速度的固有视觉模糊性。该方法通过引入一组基于物理的损失来实现推断出物理上合理的速度场,同时处理流体速度的湍流性质,设计了一个混合神经速度表示,包括捕捉大部分无旋能量的基础神经速度场和模拟剩余湍流速度的涡粒子速度。该方法可用于各种围绕3D不可压缩流的学习和重建应用,包括流体再模拟和编辑、未来预测以及神经动态场景合成。
数据统计
相关导航
MorphCut
该产品提供了一种新颖的框架,用于平滑跳切,特别是在对话视频中。它利用视频中主体的外观,通过 DensePose 关键点和面部标志驱动的中级表示来融合其他源帧中的信息。为了实现运动,它在切割周围的端帧之间插值关键点和标志。然后使用图像转换网络从关键点和源帧合成像素。由于关键点可能包含错误,因此提出了一种跨模态注意机制,以选择和为每个关键点挑选最合适的源。通过利用这种中级表示,我们的方法可以比强视频插值基准获得更强的结果。我们在对话视频的各种跳切上展示了我们的方法,例如切除填充词、暂停,甚至随机切割。我们的实验表明,即使在对话头部旋转或剧烈移动的挑战性情况下,我们也可以实现无缝过渡。
暂无评论...