MCVD是一种用于视频生成、预测和插值的通用模型,使用基于分数的扩散损失函数生成新颖的帧,通过将高斯噪声注入当前帧并对过去和/或未来帧进行条件去噪,通过随机屏蔽过去和/或未来帧进行训练,实现无条件生成、未来预测、过去重建和插值四种情况的处理。该模型使用2D卷积U-Net,通过串联或时空自适应归一化对过去和未来帧进行条件处理,产生高质量和多样化的视频样本,使用1-4个GPU进行训练,能够扩展到更多通道。MCVD是一种简单的非递归2D卷积架构,能够生成任意长度的视频样本,具有SOTA的结果。
数据统计
相关导航
暂无评论...