X-Adapter是一个通用升级工具,可以使预训练的插件模块(例如ControlNet、LoRA)直接与升级的文本到图像扩散模型(例如SD-XL)配合使用,无需进一步重新训练。通过训练额外的网络来控制冻结的升级模型,X-Adapter保留旧模型的连接器,并添加可训练的映射层以连接不同版本模型的解码器进行特征重映射。重映射的特征将作为升级模型的引导。为了增强X-Adapter的引导能力,我们采用空文本训练策略。在训练后,我们还引入了两阶段去噪策略,以调整X-Adapter和升级模型的初始潜变量。X-Adapter展示了与各种插件的通用兼容性,并使不同版本的插件能够共同工作,从而扩展了扩散社区的功能。我们进行了大量实验证明,X-Adapter可能在升级的基础扩散模型中有更广泛的应用。
数据统计
相关导航
PALP
内容创作者经常希望使用个人主题创建个性化图片,超越传统的文本到图像模型的能力。此外,他们可能希望生成的图片包含特定的位置、风格、氛围等。现有的个性化方法可能会在个性化能力和与复杂文本提示的对齐之间做出妥协。这种权衡可能会阻碍用户提示和主题的忠实性。我们提出了一种新的方法,专注于单个提示的个性化方法,以解决这个问题。我们将这种方法称为提示对齐个性化。尽管这种方法可能看起来有限,但我们的方法在改进文本对齐方面表现出色,可以创建具有复杂和复杂提示的图像,这对于当前技术来说可能是一个挑战。具体而言,我们的方法使用额外的得分蒸馏采样项,使个性化模型与目标提示保持对齐。我们在多次拍摄和单次拍摄设置中展示了我们方法的多功能性,并进一步展示了它可以组合多个主题或从艺术作品等参考图像中获取灵感。我们定量和定性地与现有基线和最先进的技术进行比较。
暂无评论...