LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。
数据统计
相关导航
Motion-I2V
Motion-I2V是一种全新的框架,用于实现一致且可控的图像到视频生成(I2V)。与以往直接学习复杂图像到视频映射的方法不同,Motion-I2V将I2V分解为两个阶段,并采用显式运动建模。在第一阶段,我们提出了基于扩散的运动场预测器,专注于推断参考图像像素的轨迹。在第二阶段,我们提出了增强的运动增强时间注意力,以增强视频潜在扩散模型中有限的一维时间注意力。该模块可以在第一阶段预测的轨迹的指导下,有效地将参考图像特征传播到合成帧。与现有方法相比,Motion-I2V即使在存在大运动和视角变化的情况下,也能生成更一致的视频。通过为第一阶段训练稀疏轨迹控制网络,Motion-I2V可以支持用户精确控制运动轨迹和运动区域,具有稀疏轨迹和区域注释的控制能力。这比仅依赖文本说明更可控。此外,Motion-I2V的第二阶段自然地支持零样本视频到视频转换。定性和定量比较表明,Motion-I2V在一致且可控的图像到视频生成方面优于先前的方法。
暂无评论...