StableDrag是一种基于点的图像编辑框架,旨在解决现有拖拽方法存在的不准确点跟踪和运动监督不完整的问题。它设计了一种判别式点跟踪方法和基于置信度的潜在增强策略,前者可精确定位更新的手柄点,从而提高长距离操作的稳定性;后者则负责确保所有操作步骤中优化的潜在表示质量尽可能高。该框架实例化了两种图像编辑模型StableDrag-GAN和StableDrag-Diff,能够通过广泛的定性实验和DragBench上的定量评估,获得更稳定的拖拽性能。
判别式点跟踪方法,基于置信度的潜在增强策略, 实例化两种模型
解决现有拖拽方法存在的不准确点跟踪和运动监督不完整的问题, 广泛的定性实验和DragBench上的定量评估获得更稳定的拖拽性能
对象去除、插入、变形等图像编辑任务
提高基于点拖拽图像编辑的稳定性, 优化潜在表示质量