SparseCtrl是为了增强对文本到视频生成的控制性而开发的,它能够灵活地结合稀疏信号进行结构控制,只需一个或少量输入。它包括一个额外的条件编码器来处理这些稀疏信号,同时不影响预训练的文本到视频模型。该方法兼容各种形式,包括素描、深度和RGB图像,为视频生成提供更实用的控制,并推动故事板、深度渲染、关键帧动画和插值等应用。大量实验证明了SparseCtrl在原始和个性化文本到视频生成器上的泛化能力。
数据统计
相关导航
Make-Your-Anchor
Make-Your-Anchor是一个基于扩散模型的2D虚拟形象生成框架。它只需一段1分钟左右的视频素材就可以自动生成具有精确上身和手部动作的主播风格视频。该系统采用了一种结构引导的扩散模型来将3D网格状态渲染成人物外观。通过两阶段训练策略,有效地将运动与特定外观相绑定。为了生成任意长度的时序视频,将frame-wise扩散模型的2D U-Net扩展到3D形式,并提出简单有效的批重叠时序去噪模块,从而突破推理时的视频长度限制。最后,引入了一种基于特定身份的面部增强模块,提高输出视频中面部区域的视觉质量。实验表明,该系统在视觉质量、时序一致性和身份保真度方面均优于现有技术。
暂无评论...