强化学习资源汇总

已于 2024-06-30 12:38:21 修改
阅读量4.4k 收藏 13
点赞数 14
CC 4.0 BY-SA版权
分类专栏： AI资源收集汇总 文章标签： 强化学习
于 2019-01-22 16:07:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43178406/article/details/86596367

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为优快云博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

  本文主要介绍了强化学习资源汇总，希望能对学习强化学习的同学们有所帮助。

文章目录

1. 基本概念讲解

强化学习的目标是求解最优策略，强化学习都是不同的对策略和值进行迭代的。学习随机变量的 expectation 期望值。

了解本专栏 订阅专栏 解锁全文
强化学习 | PPO论文小结
Hesy_H的博客
04-17 1359
DQN属于value-based算法，它预估的是V(s)/Q(s,a)，这个和策略是无关的，每次更新，拿之前离线的数据去更新对应的Q(s’,a’)是完全合理的（就算是不同的策略，在同一个s下做了同一个a，影响其后续reward，也就是影响其对应Q(s,a)的是环境，跟策略无关。因为PPO属于PG算法（同时也属于AC类算法，也是on-policy算法[虽然做了一点近似，有一点off-policy的成分在] ），会直接修改PG算法，所以每次更新完policy，之前离线采样下来的数据就跟现有的分布是不一样的；
深度强化学习系列(8): Prioritized Experience Replay(PER-DQN)原理及实现
深度强化学习(DeepRL)探索博客
12-23 2万+
论文地址： https://arxiv.org/abs/1511.05952 本论文是由DeepMind操刀，Schaul主导完成的文章，发表于顶会ICLR2016上，主要解决经验回放中的”采样问题“（在DQN算法中使用了经典的”experience replay“，但存在一个问题是其采用均匀采样和批次更新，导致特别少但价值特别高的经验没有被高效的利用）。 还是往常的学习顺序，先摘要和结论 ...
基于策略的强化学习方法之近端策略优化（PPO）深度解析
最新发布
搏博的专栏
05-15 1467
例如，在机器人控制中，先在仿真环境中训练PPO模型，再通过域随机化（Domain Randomization）迁移到真实环境。理论上，当ϵ较小时，PPO的截断操作近似于TRPO的信任区域约束，但计算复杂度显著降低。（因策略更新需保证数据来自相近策略），而是将每个周期收集的轨迹分割为多个小批量（Mini-Batch），在每个小批量上进行多次更新，以模拟SGD的效果，减少内存占用。替代TRPO的信任区域约束，约束新旧策略之间的差异，避免策略突变，既保持了策略更新的稳定性，又显著降低了计算成本。
优先经验回放(Prioritized Experience Replay)
lsjmax的博客
10-27 1万+
经验回放（experience replay） 在DQN算法中，为了打破样本之间关联关系，通过经验池，采用随机抽取经历更新参数。但是，对于奖励稀疏的情况，只有N多步正确动作后才有奖励的问题，会存在能够激励Agent进行正确学习的样本很少，采用随机抽取经历得方式，效率会很低，很多样本都奖励为0的，没什么区别。 解决这个问题的主要从两方法考虑，经验存储方法，经验抽取的方法，目前主要采用经验抽取的方法。...
(PPO)近端策略优化学习记录
小吴同学的小屋
03-07 1768
包含了TRPO，PPO，重要性采样等知识。
强化学习—PPO代码实现及个人详解2（python）
weixin_70267340的博客
04-03 1571
batch 应该是一个包含多个列表（或其他可迭代对象）的列表，如 [[1, 2, 3], [4, 5, 6], [7, 8, 9]]。通过 zip(*batch)，将这些子列表中对应位置的元素打包成元组，例如 (1, 4, 7)、(2, 5, 8)、(3, 6, 9)。首先初始化，这里并没有传入参数，但会创建一个空的双向队列 self.buffer。（2）函数注解中使用 -> None 表示该函数的返回值类型为 None，即函数不返回任何有意义的值，类似于在函数体中显式地使用 return None。
人工智能-项目实践-强化学习-Code for paper 基于多智能体深度强化学习的车联网通信资源分配优化.zip
12-14
This is the source code for our paper: 基于多智能体深度强化学习的车联网通信资源分配优化. A brief introduction of this work is as follows: 无线网络的高速发展为车联网提供了更好的支持，但是如何为高速...
顶会论文 65篇IJCAI深度强化学习论文汇总.pdf
03-19
对于从事深度强化学习研究的学者和工程师来说，这些论文汇总可以作为研究的宝贵资源，不仅为研究者们提供了丰富的理论参考，还为实验和应用提供了可能的方向和方法。同时，这些论文的集合也对那些对深度强化学习感...
强化学习方法汇总 (Reinforcement Learning)
08-30
强化学习方法汇总_(Reinforcement_Learning)
PPO算法（附pytorch代码）
热门推荐
qq_45889056的博客
04-21 5万+
PPO算法是一种强化学习中的策略梯度方法，它的全称是Proximal Policy Optimization，即近端策略优化1。PPO算法的目标是在与环境交互采样数据后，使用随机梯度上升优化一个“替代”目标函数，从而改进策略。PPO算法的特点是可以进行多次的小批量更新，而不是像标准的策略梯度方法那样每个数据样本只进行一次梯度更新12。PPO算法有两种主要的变体：PPO-Penalty和PPO-Clip。
分布式优先经验回放（DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY, Ape-X）
wenquantongxin的博客
05-23 2166
我们提出了一种分布式深度强化学习的架构，该架构使得Agent能够有效地从比以前可能的数量级更多的数据中学习。该算法将Acting与学习分离：Actor根据共享神经网络选择动作，并与他们自己的环境实例进行互动，将产生的经验累积在共享的经验重放记忆中；Learner重放经验样本并更新神经网络。这个架构依赖于优先经验重放，只关注由Actor生成的最重要的数据。我们的架构在Arcade学习环境上大大改善了SOTA技术的表现，实现了更好的最终性能，并且使用了更少的实际训练时间。
【强化学习】强化学习中，经验回放池的容量大小如何选取？
wq6qeg88的博客
12-17 1393
经验回放池容量的选择需要根据任务的复杂性、算法的特点、训练的稳定性以及计算资源等因素进行调整。一般来说，对于复杂任务和深度强化学习算法，回放池的容量通常设在100,000 到 1,000,000之间。对于基于值的算法（如 DQN）需要较大的容量，而基于策略的算法（如 PPO）对容量要求较低。在有限的计算资源条件下，可以通过压缩容量或者采用优先经验回放等方法进行调优，以提高训练效率。调整经验回放池的容量时，需要在性能、资源消耗和训练效果之间找到一个平衡点。
优先经验回放(prioritized experience replay)
beingstrong的博客
11-22 6815
优先经验回放(prioritized experience replay)的原理和实现
强化学习分享（一） DQN算法原理及实现
qq_41821562的博客
08-04 6830
（一）强化学习算法介绍DQN，顾名思义，Deep Q Learning;在传统强化学习Q-Learning的基础之上，用深度学习的神经网络来拟合函Q值函数，从而达到更好的学习效果。强化学习入门：基本思想和经典算法 - 知乎 (zhihu.com)游戏交通拥堵能源分配广告推送，机器人控制，组合与序列控制问题。目前我自己将要研究的是微电网电力资源分配问题，也是强化学习的一个小应用方向。关于。
EasyRL 强化学习笔记 5、6章节（PPO，DQN）
strawberry47的博客
11-11 2617
第五章 PPO From On-policy to Off-policy 如果要学习的 agent 跟和环境互动的 agent 是同一个的话， 这个叫做on-policy(同策略)。 如果要学习的 agent 跟和环境互动的 agent 不是同一个的话， 那这个叫做off-policy(异策略)。 policy gradient就是on-policy，必须要收集到很多τ\tauτ，然后更新式子，非常耗时。变成off-policy：使用另一个actor θ′\theta'θ′跟环境互动，用收集到的数据训练
强化学习算法PPO实现
PeterClerk的博客
07-20 964
强化学习算法PPO实现
深度强化学习算法（六）（附带MATLAB程序）
qq_35623594的博客
08-30 3624
近端策略优化（Proximal Policy Optimization, PPO）是一种现代强化学习算法，旨在在策略优化过程中保持稳定性和有效性。PPO算法的核心思想是通过对策略更新的控制来避免过大的变动，从而提高训练过程的稳定性和可靠性。PPO是一种有效且稳定的策略优化算法，通过引入剪切机制来控制策略更新幅度，从而保证了训练过程的稳定性。它的简单实现和良好的性能使其成为强化学习领域中常用的算法之一。深度强化学习算法（一）（附带MATLAB程序）-优快云博客。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱编程的喵喵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值