RERENDER A VIDEO是一种新颖的零样本文本引导的视频到视频翻译框架，用于将图像模型应用于视频领域。该框架包括两个部分：关键帧翻译和完整视频翻译。第一部分使用适应性扩散模型生成关键帧，并应用分层跨帧约束来确保形状、纹理和颜色的一致性。第二部分通过时间感知的补丁匹配和帧混合将关键帧传播到其他帧。我们的框架以低成本实现了全局风格和局部纹理的时间一致性（无需重新训练或优化）。该适应性与现有的图像扩散技术兼容，使我们的框架能够利用它们，例如使用LoRA自定义特定主题，并使用ControlNet引入额外的空间引导。大量实验证明了我们提出的框架在呈现高质量和时间一致性视频方面的有效性。

AnimateZero是一款零样本图像动画生成器，通过分离外观和运动生成视频，解决了黑盒、低效、不可控等问题。它可以通过零样本修改将预训练的T2V模型转换为I2V模型，从而实现零样本图像动画生成。AnimateZero还可以用于视频编辑、帧插值、循环视频生成和真实图像动画等场景，具有较高的主观质量和匹配度。

Binoculars是一个先进的AI生成文本检测工具,无需训练数据即可零配置使用。它的检测思路非常简单明了:大多数只用decoder的因果语言模型在预训练时使用了大量相同的数据集,例如Common Crawl、Pile等。更多关于该方法及其效果的信息请参阅我们的论文《用双目镜发现LLM: 机器生成文本的零样本检测》。

AnyDoor 是一种基于扩散的图像生成器，可以在用户指定的位置将目标对象以和谐的方式传送到新场景中。我们的模型只需要训练一次，就可以轻松推广到不同的对象和场景组合中，无需为每个对象调整参数。为了充分描述某个特定对象，我们除了使用常用的身份特征外，还补充了细节特征，这些特征经过精心设计，既能保持纹理细节，又能允许多样的局部变化（如光照、方向、姿势等），从而使对象与不同的环境更好地融合。我们还提出从视频数据集中借用知识的方法，在视频数据集中可以观察到同一对象的各种形态（沿时间轴），从而增强模型的泛化能力和鲁棒性。大量实验证明了我们方法的优越性，以及它在虚拟试穿和物体移动等实际应用中的巨大潜力。