Upscale-A-Video翻译站点

Pixel-Aware Stable Diffusion（PASD）旨在实现真实图像超分辨率和个性化风格化。通过引入像素感知交叉注意力模块，PASD使得扩散模型能够以像素级别感知图像局部结构，同时利用降级去除模块提取降级不敏感特征，与图像高层信息一起引导扩散过程。PASD可轻松集成到现有的扩散模型中，如稳定扩散。在真实图像超分辨率和个性化风格化方面的实验验证了我们提出的方法的有效性。

Diffuse to Choose 是一种基于扩散的图像修复模型，主要用于虚拟试穿场景。它能够在修复图像时保留参考物品的细节，并且能够进行准确的语义操作。通过将参考图像的细节特征直接融入主要扩散模型的潜在特征图中，并结合感知损失来进一步保留参考物品的细节，该模型在快速推理和高保真细节方面取得了良好的平衡。

DistriFusion是一个训练不需要的算法,可以利用多个GPU来加速扩散模型推理,而不会牺牲图像质量。DistriFusion可以根据使用的设备数量减少延迟,同时保持视觉保真度。

MOTIA是一个基于测试时适应的扩散方法，利用源视频内的内在内容和运动模式来有效进行视频外延画。该方法包括内在适应和外在渲染两个主要阶段，旨在提升视频外延画的质量和灵活性。

MuseV是一个基于扩散模型的虚拟人视频生成框架,支持无限长度视频生成,采用了新颖的视觉条件并行去噪方案。它提供了预训练的虚拟人视频生成模型,支持Image2Video、Text2Image2Video、Video2Video等功能,兼容Stable Diffusion生态系统,包括基础模型、LoRA、ControlNet等。它支持多参考图像技术,如IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。MuseV的优势在于可生成高保真无限长度视频,定位于视频生成领域。

FreeU是一种方法，可以在不增加成本的情况下显著提高扩散模型的采样质量：无需训练，无需引入额外参数，无需增加内存或采样时间。该方法通过重新加权U-Net的跳跃连接和主干特征图的贡献，结合U-Net架构的两个组成部分的优势，从而提高生成质量。通过在图像和视频生成任务上进行实验，我们证明了FreeU可以轻松集成到现有的扩散模型中，例如Stable Diffusion、DreamBooth、ModelScope、Rerender和ReVersion，只需几行代码即可改善生成质量。