DesignEdit是一款集成了各种空间感知图像编辑功能的统一框架。它通过将空间感知图像编辑任务分解为多层潜在表征的分解和融合两个子任务来实现。首先将源图像的潜在表征分割为多个层,包括若干个目标层和一个需要可靠修复的不完整背景层。为了避免额外的调优,我们进一步探索了self-attention机制内部的修复能力,引入了一种key-masking self-attention方案,能够在遮蔽区域传播周围的上下文信息,同时降低对遮蔽区域外的影响。其次,我们提出了一种基于指令的潜在融合方法,将多层潜在表征贴在画布潜在空间上。我们还引入了一种潜在空间的伪影抑制机制来增强修复质量。由于这种多层表征固有的模块化优势,我们可以实现精确的图像编辑,并且我们的方法在多个编辑任务上都取得了出色的表现,超越了最新的空间编辑方法。
数据统计
相关导航
暂无评论...