Snap视频是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成域中的运动保真度、视觉质量和可扩展性等挑战。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从而有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。这种架构使模型可以高效训练,达到数十亿参数规模,在多项基准测试中取得最优效果。
数据统计
相关导航
Lumiere
Lumiere是一个文本到视频扩散模型,旨在合成展现真实、多样和连贯运动的视频,解决视频合成中的关键挑战。我们引入了一种空时U-Net架构,可以一次性生成整个视频的时间持续,通过模型的单次传递。这与现有的视频模型形成对比,后者合成远距离的关键帧,然后进行时间超分辨率处理,这种方法本质上使得全局时间一致性难以实现。通过部署空间和(重要的是)时间的下采样和上采样,并利用预训练的文本到图像扩散模型,我们的模型学会直接生成多个时空尺度下的全帧率、低分辨率视频。我们展示了最先进的文本到视频生成结果,并展示了我们的设计轻松促进了各种内容创作任务和视频编辑应用,包括图像到视频、视频修补和风格化生成。
暂无评论...