给大模型生图“去油”，混元这个新研究火了

感谢大家的喜欢 ♥️

腾讯混元生图团队最近发布的工作SRPO受到了社区的热烈欢迎，项目在9月10日发布之后登上了HuggingFace热度榜榜首，同时社区量化版本下载量达25K，Github Star 超过了700。

该工作主要提供了文生图模型的强化算法，解决了开源文生图模型Flux的皮肤质感“过油”的问题，能让人像真实感提升3倍，Flux是目前开源文生图社区中最广泛使用的基础模型。

针对Flux.dev.1模型生成的人物质感“过油”的问题，SRPO（Semantic Relative Preference Optimization，语义相对偏好优化）通过在线调整奖励偏好，优化早期生成轨迹等手段很好的解决了这个问题。

仅需10分钟，SPRO就能将生成图片的真实度提升3倍，并收获了社区的一致好评。

图：SPRO效果，人物毛孔清晰可见，毛发纤毫毕现

以下是效果对比：

左图为优化后

左图为优化后

左图为优化后

背后的技术揭秘

在线奖励调整

文生图领域传统的在线强化学习方法（如ReFL，DRaFT）虽展现极高的训练效率，但强依赖一个预先训练好的奖励模型。这些奖励模型除了需要耗费大量的成本收集数据外，还面临泛化性差的问题，通常难以满足多样化，高质量的后训练需求。

为了解决这个问题，腾讯混元团队联合香港中文大学（深圳）和清华大学近日提出创新性解决方案：语义相对偏好优化（Semantic Relative Preference Optimization）。该方法创新性地提出了另一条解决思路——通过语义偏好实现奖励模型的在线调整。具体来说，SRPO通过为奖励模型添加特定的控制提示词（如“真实感”）来定向调整其优化目标。实验结果显示，这些控制词可以显著增强奖励模型在真实度等特定维度的优化能力。

进一步，研究人员发现，单纯的语义引导仍存在奖励破解（rewardhacking）的风险。针对这一问题，团队提出创新的“语义相对偏好优化”策略：同时使用正向词和负向词作为引导信号，通过负向梯度有效中和奖励模型的一般性偏差，同时保留语义差异中的特定偏好。

优化早期生成轨迹

研究团队发现，传统方法（如ReFL，DRaFT）通常仅优化生成轨迹的后半段，这种策略极易导致奖励模型在高频信息上的过拟合问题。具体表现为：HPSv2奖励模型会偏好偏红色调的图像，PickScore倾向于紫色图像，而ImageReward则容易对过曝区域给出较高评分。基于这些发现，研究团队创新性的提出Direct-Align策略，对输入图像进行可控的噪声注入，随后通过单步推理，借助预先注入的噪声作为“参考锚点”进行图像重建。这种方法显著降低了重建误差，实现更精准的奖励信号传导。从而支持对生成轨迹的前半段进行优化，解决过拟合问题。

训练仅需10分钟&真实感提升3倍！

SRPO具有极高的训练效率，只需10分钟训练即可全面超越DanceGRPO的效果。

与主流方法DanceGRPO对比无明显hacking现象，显著提升模型真实感

使用主流reward上未出现任何偏色、过饱和等奖励破解问题

SRPO 定量指标达SOTA水平，人类评估的真实度和美学优秀率提升超过3倍，训练时间相比DanceGRPO降低75倍。

• 论文题目: Directly Aligning the Full Diffusion Trajectory with Fine-Grained Human Preference

• 论文链接：https://arxiv.org/abs/2509.06942

• 项目主页：https://tencent.github.io/srpo-project-page/

• GitHub：https://github.com/Tencent-Hunyuan/SRPO

加入微信群即可了解更多“腾讯开源新动态”

#混元、#大模型、#文生图、#开源、#腾讯、