DP²O-SR 论文总结与核心部分翻译
一、文章主要内容
该论文针对真实世界图像超分辨率(Real-ISR)任务中,基于文本到图像(T2I)扩散/流模型的方法因内在随机性导致输出感知质量不一致的问题,提出了直接感知偏好优化框架(DP²O-SR)。其核心思路是将模型随机性转化为监督信号,通过构建人类对齐的感知奖励和优化偏好对,在无需人工标注的情况下提升模型的感知质量与稳定性。
核心技术路径
- 感知奖励设计:融合全参考(FR)和无参考(NR)图像质量评估(IQA)指标,平衡结构保真度(抑制幻觉内容)和自然真实感(提升美学连贯性),避免单一指标导致的过平滑或幻觉问题。
- 偏好对构建:不同于传统“最佳-最差”双模型对比,通过同一模型的不同噪声种子生成多个输出,筛选Top-N和Bottom-N样本构建丰富偏好对,捕捉更精细的感知差异。
- 层级偏好优化(HPO):从组内(强调奖励差距大的对比)和组间(优先感知多样性高的输入组)两个维度自适应加权训练对,提升训练效率和感知对齐度。
- 模型适配策略:针对不同容量的模型(小型扩散模型C-SD2、大型流模型C-FLUX),优化样本数量(M)和选择比例(N/M),小型模型适合宽覆盖比例(如1/4),大型模型更受益于强对比比例(如1/16)。
订阅专栏 解锁全文
1254



被折叠的 条评论
为什么被折叠?



