Upscale-A-Video是一个基于扩散的模型,通过将低分辨率视频和文本提示作为输入来提高视频的分辨率。该模型通过两个关键机制确保时间上的一致性:在局部,它将时间层集成到U-Net和VAE-Decoder中,保持短序列的一致性;在全局,引入了一个流引导的循环潜在传播模块,通过在整个序列中传播和融合潜在信息来增强整体视频的稳定性。由于扩散范式,我们的模型还通过允许文本提示指导纹理创建和可调噪声水平来平衡恢复和生成,实现了保真度和质量之间的权衡。大量实验证明,Upscale-A-Video在合成和真实世界基准以及AI生成的视频中均超越了现有方法,展现出令人印象深刻的视觉逼真和时间一致性。
数据统计
相关导航
暂无评论...