论文阅读笔记——Step1X-Edit: A Practical Framework for General Image Editing

Step1X-Edit 论文
当前图像编辑数据集规模小，质量差，由此构建了如下数据构造管线。

高质量三元组数据（源图像、编辑指令、目标图像）。

• 主体添加与移除：使用 Florence-2 对专有数据集标注，然后使用 SAM2 进行分割，再使用 ObjectRemovalAlpha 进行修复。编辑指令结合 Step-1o 和 GPT-4o 生成，然后人工审查有效性。
• 主体替换与背景更改：使用 Florence-2 对专有数据集标注，然后使用 SAM2 进行分割，再使用 Qwen-2.5VL 和 Recognize-Anything Model 识别目标对象和关键词，使用 Flux-Fill 进行内容感知修复。指令由 Step-1o 生成并人工审查。
• 色彩更改与材质修改：在图像中检测到对象后，使用 Zeodepth 深度估计，使用带扩散模型的 ControlNet 生成新图像。
• 文本修改：使用 PPOCR 识别字符，以及 Step-1o 模型区分文本正确、错误区域。同样生成编辑指令。
• 运动变化：使用 Koala-36M 的视频，提取帧作为输入，使用 BiRefNet 和 RAFT 进行前景-背景和光流估计，再用 GPT-4o 标记帧间运动变化作为编辑指令。
• 人像编辑与美化：对于动画风格和真实图像，先提取边缘，再利用 ControlNet 进行风格迁移。
• 采用上下文、双语标注。