ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。
数据统计
相关导航
AnyDoor
AnyDoor 是一种基于扩散的图像生成器,可以在用户指定的位置将目标对象以和谐的方式传送到新场景中。我们的模型只需要训练一次,就可以轻松推广到不同的对象和场景组合中,无需为每个对象调整参数。为了充分描述某个特定对象,我们除了使用常用的身份特征外,还补充了细节特征,这些特征经过精心设计,既能保持纹理细节,又能允许多样的局部变化(如光照、方向、姿势等),从而使对象与不同的环境更好地融合。我们还提出从视频数据集中借用知识的方法,在视频数据集中可以观察到同一对象的各种形态(沿时间轴),从而增强模型的泛化能力和鲁棒性。大量实验证明了我们方法的优越性,以及它在虚拟试穿和物体移动等实际应用中的巨大潜力。
暂无评论...