强化学习在文生图中的应用DDPO：Training Diffusion Models with Reinforcement Learning

已于 2024-04-01 19:26:20 修改
阅读量1.1k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： AI算法 文章标签： 算法 人工智能 AIGC stable diffusion 强化学习 RLHF
于 2023-11-18 21:36:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/134366836
本文介绍了如何使用强化学习DDPO（Denoising Diffusion Policy Optimization）优化扩散模型，以提升文生图的质量。研究对比了奖励加权回归（RWR）和DDPO，证明DDPO在多个任务上表现更优，包括图像压缩性、美学质量和图文对齐。此外，DDPO展示出良好的泛化性，能在未见过的prompt上表现优秀。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

文章目录

在 InstructGPT 一文中我们介绍了chatGPT的训练过程是先进行大规模数据预训练，然后在到高质量数据上进行微调，最

了解本专栏 订阅专栏 解锁全文 超级会员免费看
强化学习微调文生图模型DPOK：Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models
orangerfun的博客
12-09 1304
DPOK
DPPO深度强化学习算法实现思路(分布式多进程加速)
ZYunfei的博客
05-13 6765
为什么是多进程 众所周知，python的多线程是伪多线程，在全局????GIL下某一时刻python只有一个线程在执行，这就意味着在计算密集型任务下多线程反而会更慢（上下文切换）。因此，想做关于强化学习加速的任务只能多进程（可以理解为手动运行多个程序）。但是多进程又很麻烦，麻烦在进程之间的数据联系（因为进程是不共享全局区的），本文采用pipe技术（管道）做数据传输。 实现思路1 多个子进程同步训练网络 在主进程将子进程网络的权重取平均更新到net 再将net传入子进程，回到1 这种思路是最容易想到的，实
ICLR2024-强化学习+Diffusion《Training Diffusion Models with Reinforcement Learning》
qq_46981910的博客
03-13 1278
扩散模型是一类灵活的生成模型，通常通过近似对数似然目标进行训练。然而，大多数扩散模型的使用场景并不直接关心似然，而是关注下游目标，如人类感知的图像质量或药物的有效性。本文研究了直接针对这些目标优化扩散模型的强化学习方法，提出了一种将去噪视为多步决策问题的方法，开发了更有效的策略梯度算法，即去噪扩散策略优化（DDPO）。实验证明，DDPO能够适应文本到图像扩散模型，以优化难以通过提示表达的目标，如图像可压缩性，以及来自人类反馈的目标，如美学质量。此外，DDPO还可以利用视觉语言模型的反馈改善提示与图像的对齐，
一区论文好发，太好发了！直接强化学习+多目标优化
最新发布
2501_92157786的博客
05-23 850
传统强化学习框架通常以单一奖励函数为导向，而多目标强化学习（MORL）通过引入向量化奖励函数（Vectorized Reward）、偏好建模（Preference Modeling）及多目标策略梯度（Multi-Objective Policy Gradient）等方法，显著提升了算法在多重约束下的适应性。在图像压缩性和美学质量等下游目标上，DDPO显著优于RWR。随机策略表示：采用随机高斯策略表示，结合熵正则化，提高了策略的多样性和鲁棒性，使得模型在面对目标回报冲突时仍能保持安全性和高性能。
论文阅读--Diffusion Models for Reinforcement Learning: A Survey
hzlalb的博客
03-02 2478
接着介绍了扩散模型的基础知识和在强化学习中的应用方法。然后讨论了扩散模型在强化学习中的不同角色，并对其在多个应用领域的贡献进行了探讨。在强化学习中，扩散模型可以用作数据合成器，通过从学习到的数据分布中生成合成数据，从而提高策略学习的效率和效果。通过使用扩散模型，可以生成逼真的轨迹，从而改善离线RL中的策略限制。在强化学习中，扩散模型可以用作数据合成器，生成与环境动态一致的合成数据，从而提高策略训练的效果。：这部分讨论了扩散模型的基础知识，以及在RL相关应用中特别重要的两类方法：引导采样和快速采样。
NLP论文速读（ECCV2024）|面向文生图的Parrot优化的多奖励强化学习
2401_85576118的博客
11-25 1733
Parrot 的方法通过批量帕累托最优选择和多奖励优化策略，能够在不牺牲其他质量指标的前提下，提升特定指标的表现。的核心思想是在批量样本中识别出具有不同质量奖励之间最佳权衡的非支配点（non-dominated points），并仅使用这些点进行梯度更新，从而自动学习不同奖励之间的最优权衡。为了在推理期间保持对原始提示的忠实度，Parrot引入了一种基于原始提示的指导技术，通过线性组合用户输入和扩展提示的指导来生成图像。引入了原始提示中心的指导，确保在提示扩展后输出图像与输入提示相关，同时丰富图像细节。
（2024，一致性模型，强化学习，MDP，DDPO）一致性模型的强化学习：更快的奖励引导文本到图像生成
qq_44681809的博客
04-29 1322
一致性模型直接将噪声映射到数据，从而在至少一个采样迭代中生成图像。RLCM将一致性模型的迭代推理过程构建为 RL 过程。​从而在文本到图像生成上改进了 RL 细化的扩散模型，并在推理时以计算换取样本质量。
深度强化学习综述
02-13
深度强化学习综述,阐述近些年来深度学习方法的脉络，发展和概况，有助于读者快速了解深度强化学习整体概况
使用 DDPO 在 TRL 中微调 Stable Diffusion 模型
Hugging Face
10-23 737
引言扩散模型 (如 DALL-E 2、Stable Diffusion) 是一类文生图模型，在生成图像 (尤其是有照片级真实感的图像) 方面取得了广泛成功。然而，这些模型生成的图像可能并不总是符合人类偏好或人类意图。因此出现了对齐问题，即如何确保模型的输出与人类偏好 (如“质感”) 一致，或者与那种难以通过提示来表达的意图一致？这里就有强化学习的用武之地了。在大语言模型 (LLM) 领域，强化学习...
基于强化学习算法A3C，DDPG，DDPO的机器人手臂游戏训练设计与实现
04-16
基于强化学习算法A3C，DDPG，DDPO的机器人手臂游戏训练设计与实现
（2024，强化学习，扩散，奖励函数）扩散模型的大规模强化学习
qq_44681809的博客
01-24 2446
本文提出了一种有效的可扩展算法，使用强化学习改进扩散模型，涵盖人类偏好、组成性和公平性等多种奖励函数，涉及数百万张图像。该方法显著优于现有方法，使扩散模型与人类偏好保持一致。
2022年11月100篇 diffusion models 扩散模型 汇总！
鹊踏枝-码农的专栏
12-09 2819
2022年11月100篇 diffusion models 扩散模型 汇总！
DDPO增强型扩散策略
qq_44683998的博客
12-05 241
普林斯顿的新研究介绍了一种新的算法框架——扩散策略策略优化（Diffusion Policy Policy Optimization，DPPO）研究人员发现DPPO与其他基于扩散的策略的强化学习方法相比，与其他基于扩散的策略的、精细的 PG（Policy Gradient，PG）调整相比，在常见的基准上实现了最强的整体性能。集智联机器人， 英文名字：Plug & Play Robotics简称PNP机器人， 取义为“集中智慧互联，达到即插即用”,目标用先进的机器人技术实现机器人在各个行业的快速使用。
《大规模语言模型从理论到实践》--强化学习（RLHF、PPO、DPO）
weixin_42264784的博客
10-08 1655
RLHF（Reinforcement Learning from Human Feedback）:强化学习（Reinforcement Learning）结合人类反馈（Human Feedback）来微调大语言模型。大语言模型的训练步骤包括：预训练、指令微调（SFT）、对齐。对齐（alignment）的含义是让 LLM 与人类的价值观保持一致。这就是 RLHF 的用武之地。智能体在环境中获取某个状态后，会根据该状态输出一个动作，也称为决策。
DPPO算法（顺便对比PG、TRPO、PPO、PPO2以及A3C算法）
qq_43703185的博客
05-12 5109
强化学习（9）：TRPO、PPO以及DPPO算法：https://blog.youkuaiyun.com/zuzhiang/article/details/103650805 DPPO深度强化学习算法实现思路(分布式多进程加速)： https://blog.youkuaiyun.com/weixin_43145941/article/details/116764574 [DPPO]:再看我的影分身之术（附代码及代码分析）：https://zhuanlan.zhihu.com/p/111346592 PPO TRPO PPO（P
强化学习-DPPO算法
箫声清阳的空间
05-10 4672
先占位，后补充https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-4-DPPO/
顶刊MS论文解读｜数据驱动的动态定价和订购策略
weixin_53463894的博客
02-14 1763
本次解读的文章为“Data-Driven Dynamic Pricing and Ordering with Perishable Inventory in a Changing Environment”。
张俊林：ChatGPT 会成为下一代搜索引擎吗
静觅
01-02 522
文|张俊林@知乎这是「进击的Coder」的第 774篇技术分享作者：张俊林来源：知乎“ 阅读本文大概需要 9 分钟。 ”本文将从以下几个方面展开：引言ChatGPT 的技术原理ChatGPT 能否取代 Google、百度等传统搜索引擎引言作为智能对话系统，ChatGPT 最近两天爆火，都火出技术圈了，网上到处都在转 ChatGPT 相关的内容和测试例子，效果确实很震撼。我记得上一次能引起如此轰动...
本地SD文本生成图像应用：一键文生图
资源摘要信息:"一键文生图-本地SD文本生成图像应用" 从给出的文件信息中，我们可以提取以下知识点： 1. 一键文生图是本地使用SD（Stable Diffusion）技术进行文本生成图像的应用。 2. SD（Stable Diffusion）是一...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值