强化学习（Reinforcement Learning）学习笔记

最新推荐文章于 2025-06-24 10:08:36 发布
原创 最新推荐文章于 2025-06-24 10:08:36 发布 · 1.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习

本文深入解析强化学习核心算法，涵盖Q-learning、Sarsa、Deep Q Network及其变种，Policy Gradient，Actor-Critic架构，及最新进展如Distributed Proximal Policy Optimization。详细对比各算法特性，提供Python实现指南。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

强化学习（Reinforcement Learning）学习笔记

前言

根据讲义为网易云课堂的强化学习(Python)：https://study.163.com/course/courseMain.htm?courseId=1003598006
github代码：https://github.com/MorvanZhou/Reinforcement-learning-with-tensorflow/tree/master/contents

Q-learning

在这里插入图片描述
在这里插入图片描述
Tips：此处的Q(s,a)表示在s状态下进行a动作的得分，ε-greedy的意思是我们面对每个状态的Q表时，有ε的概率直接按照表中最优值选择下一步行动，而1-ε概率随机动作。这时候对每步的Q进行更新，α为学习率。Q(s1,a2)现实的意思是，假设s1时选择了a2到达s2，然后采取某种行为，这里取大得分的行为，然后把该行为即Q(s2,a2)乘上γ并加上奖励r，这样得到的R表示我从s1开始实实在在选择a2这一步能得到的奖励R，其中γ表示记忆程度，再用现实的Q减去估计的Q来进行更新
在这里插入图片描述

Sarsa

Sarsa(0)

在这里插入图片描述
Tips：Sarsa跟Q-learning的区别在于Q-learning每步都会取下一步现实的最大值，而Sarsa不会，相比来说可以理解为Q-learning为到达目标永远最优（付出一切代价）而Sarsa则会尽量避开大代价。下一个 state_, 和下一个 action_ 将会变成他真正采取的 action 和 state. 和 Qlearning 的不同之处就在这. Qlearning 的下个一个 state_ action_ 在算法更新的时候都还是不确定的 (off-policy). 而 Sarsa 的 state_, action_ 在这次算法更新的时候已经确定好了

Sarsa(λ)

在这里插入图片描述
Tips：λ为脚步衰减值，当λ为0时，即只记在reward前的最后一步，λ为1时即记住reward前的每一步，而我们的要求是离reward前的步骤越近它记得越好
在这里插入图片描述
Tips：此处第一行的意思是每个结点访问的次数，第二三行的意思是累积访问它的eligibility trace，简单来说就是访问某结点次数越多，说明得到reward途中访问该点的可能性越高，即不可或缺性。
在这里插入图片描述
Tips：相比之上多了一个δ错误差即真实值与估计值之差，E即为上文提到的不可或缺值，这样对于每个结点的Q值进行跟不可或缺值有关的更新，再对不可或缺值进行λ的缩减，意思就是对于得到reward前，经过的每个点都进行标记，越近表示不可或缺值越高且λ缩减越少，进行Q表更新时更新幅度更大，对于达到reward途中经历的点根据到达的次数即不可或缺值E和距离reward的距离进行λ衰减

Deep Q Network

Nature DQN

在这里插入图片描述
在这里插入图片描述
Tips：相比于Q-learning的Q表，此处每步的Q值由神经网络计算出来，此为Q估计，而为了更新神经网络的参数需要Q现实，需要 a1,a2正确的Q值, 这个Q值我们就用之前在Q-learning中的 Q现实来代替，后文提到的target-net得到的就是，这样就能通过Q现实和Q估计来更新网络
在这里插入图片描述
Tips：首先初始化网络等，选择动作a时和上文方法一样根据概率或者随机选，执行action接受reward和新的state，将新的transition（当前状态，行动，奖励，下一个状态）样本存入D中，从D中随机抽取一个minibatch的transition，根据Q表得到Q现实的值y，再由y和Q估计的差值来对网络参数θ进行梯度下降，每C步执行一次更新

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
Tips：搭建两个神经网络，target_net用于预测q_target值，他不会及时更新参数。eval_net用于预测q_eval，这个神经网络拥有最新的神经网络参数。不过这两个神经网络结构是完全一样的，只是里面的参数不一样，两个神经网络是为了固定住一个神经网络(target_net)的参数，target_net是eval_net的一个历史版本，拥有eval_net很久之前的一组参数，而且这组参数被固定一段时间，然后再被eval_net的新参数所替换，而eval_net是不断在被提升的。eval_net是得出Q估计，与Q现实得到误差而更新网络的参数

Double DQN

在这里插入图片描述
在这里插入图片描述
Tips：过估计是指估计得值函数比真实值函数要大，其根源主要在于Q-Learning中的最大化操作，相比nature DQN，DDQN的Q现实进行了更改，原本的Qnext=max(Qnext(s’,a_all))，现在的Qnext=Qnext(s’,argmax(Qeval(s’,a_all))，意思就是使用现成的eval_net估计除Q现实中的Qmax(s’,a’)的最大值，然后用这个值来选择Q现实中的Q(s’)
在这里插入图片描述

Prioritized replay

在这里插入图片描述
Tips：Prioritized replay多了一个重要程度排序，也就是对Q现实-Q估计进行排序，该差值越大，则说明预测精度不高，则重要度就高。举个例子就是一个行动的某一步reward为10，某一步reward为-1，则Prioritized replay则会使算法更多的重视reward为10的那一步，采取优先级的算法为SumTree
在这里插入图片描述
Tips：这就是Sumtree，最下层存放样本的所有p，二叉树的其余结点皆为两个子结点的和，先将p的总和除以batch-size，然后在每个区间里随机选取一个数。比如在第区间[21-28]里选到了24，就按照这个24从最顶上的42开始向下搜索。首先看到最顶上42下面有两个child nodes，拿着手中的24对比左边的child 29，如果左边的child比自己手中的值大，那我们就走左边这条路，接着再对比29下面的左边那个点13，这时，手中的24比13大，那我们就走右边的路，并且将手中的值根据13修改一下，变成24-13=11.接着拿着11和13左下角的12比，结果12比11大，那我们就选12当做这次选到的priority，并且也选择12对应的数据。该方法只多了一个ISWeights，这个正是刚刚算法中提到的Importance-Sampling Weights，用来恢复被Prioritized replay打乱的抽样概率分布。
在这里插入图片描述

Dueling DQN

在这里插入图片描述
在这里插入图片描述
Tips：简单来说意思就是nature DQN每个网络比如eval_net直接输出的是Q_eval，现在更改eval_net里的结构，输出的是新的Q（value+advantage），即Q(s,a) = 状态的所有动作Q期望+action-value的优势程度，即前者是对某个state的价值，此时动作选择的影响不大，后者更关心动作的选择。
在这里插入图片描述

Policy Gradient

在这里插入图片描述
Tips：相比于前面的Q-learning和DQN，该方法跳过了每步计算value的步骤，它的做法是直接输出action而不是action的value。好的行为会被增加下一次被选中的概率，不好的行为会被减弱下次被选中的概率。这里也用了神经网络的方式，所以第一步也是初始化θ，然后对每一步进行遍历更新θ，Πθ的意思是在某一状态采取某一个行为的概率，概率取决于神经网络的输出，log(prob)表示若概率越小，则反向越大，vt是梯度下降的幅度也就是下降趋势也就是当前当前状态s下采取动作a获得的奖励，这样结果就是如果在prob很小的情况下得到了一个大的reward也就是大的vt，那么就是选择了一个概率小的动作，但得到了一个好的reward，此时大幅度更新参数
在这里插入图片描述
Tips：使用Policy Gradients的好处是能够对连续型进行评估，坏就坏在它是回合制更新的方式，也就是整轮结束后才对每步进行更新，而不是单步更新

Actor-Critic

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Tips：Actor-Critic算法分为两部分，我们分开来看actor的前身是policy gradient他可以轻松地在连续动作空间内选择合适的动作，value-based的Qlearning做这件事就会因为空间过大而爆炸，将他们合并就成了Actor-Critic。这样的意思就是，Actor根据Critic网络提供的评分修改选择行为的概率，也就是Policy Gradients中的概率，如果critic表示该行为是好的，则加大幅度它的更新，反之则减小，而Critic则基于Actor的选择行为评判行为的得分（先有鸡还是有蛋的问题那么就来了）
在这里插入图片描述
在这里插入图片描述
Tips：td_error即是critic告诉它该步的好坏程度
在这里插入图片描述
在这里插入图片描述

Deep Deterministic Policy Gradient

在这里插入图片描述
在这里插入图片描述
Tips：此处的两个网络相比dqn复杂了一些

在这里插入图片描述
Tips：相比于Policy Gradient中选择action的根据prob的方式，Deterministic事直接选择某个行为，而不用根据分布随机筛选
在这里插入图片描述
Actor更新
在这里插入图片描述
Critic更新
在这里插入图片描述
Tensorboard说明
在这里插入图片描述
Tips：actor和critic中都有两个网络，这两个网络结构一样
在这里插入图片描述
Tips：简单来说，actor和critic中的target_net跟dqn的类似，都是隔几次跟eval_net同步。然后开始，我们的目的就是对c和a进行更新，对于每一步，actor中，更新eval_net，输入当前状态state，根据当前网络计算出动作，此时获得critic得出的该动作的价值，也就是Policy Gradient一样的利用critic的动作梯度和actor的参数梯度更新eval_net。接下来是critic，一样也是两个网络，更新critic的方法就是TD-error，Q_target-Q_eval的过程，前者就是根据critic中的target_net中得出，输入的是动作action（由actor提供），Q_eval就是输入当前状态state和当前动作action决定。说完了两个，最后的C_train由td_error和当前c也就是状态state来更新，a_train则由policy_grads和当前动作action来更新
在这里插入图片描述
Tips：总而言之，学习critic需要输入当前状态state和动作action和奖励reward和下个状态s_，action学习需要当前状态state和动作action

Asynchronous Advantage Actor-Critic

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Tips：A3C的算法实际上就是将Actor-Critic放在了多个线程中进行同步训练. 可以想象成几个人同时在玩一样的游戏，而他们玩游戏的经验都会同步上传到一个中央大脑。然后他们又从中央大脑中获取最新的玩游戏方法。
在这里插入图片描述
Tips：简单来说，有一个中央大脑Global_net和四个工人local_net，每个local_net就是上文的actor_critic模型中的一个，每个相互独立，相互独立的a_loss即actor_loss，c_loss即critic_loss。
在这里插入图片描述

Distributed Proximal Policy Optimization

Tips：普通的Policy Gradient中学习率也就是step size不好控制，该方法就是解决它的，简单来说就是更新之后的新策略做到和老策略差别不会太大
在这里插入图片描述
Tips：第一个for更新actor，该处加入了At也就是每步的优势，更新的时候是用新的policy除以旧的policy，再加上At（优势）来控制更新的幅度，后面的KL是一个惩罚项，来判断新旧policy差的程度，来控制新policy的更新幅度，也就是控制幅度在一定比例之内。第二个for更新critic，该部分跟上文相似，也就是使用td-error来更新。
在这里插入图片描述
Tips：每次更新时把oldpi复制成pi，此处的pi其实就是actor，然后根据上文的更新方法更新pi，此处的loss则是通过pi和oldpi和advantage也就是At决定。最后，这也可以采用多线程的方法，也就是类似A3C的更新方法，一个总的大脑PPO_net

『大模型笔记』人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
AI新视界
08-09 740
人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
MATLAB - 强化学习（Reinforcement Learning）
weixin_46300916的博客
08-12 2545
控制系统环境是表示动态系统的环境，其中的状态和观测通常属于无限（不可数）的数值向量空间。在这种环境中，状态转换规律是确定性的，通常是通过对所要建模的底层物理系统的动力学进行离散化推导出来的。请注意，在这些环境中，动作仍然可以属于有限集合。强化学习工具箱提供了多个预定义的控制系统环境对象，用于模拟双积分器或小车摆杆系统等动态系统。一般来说，每个预定义环境都有两个版本，一个是离散（有限）动作空间，另一个是连续（无限和不可数）动作空间。
莫烦——强化学习笔记1_Q learning
qq_34806485的博客
04-01 551
视频资源： https://www.bilibili.com/video/BV13W411Y75P?from=search&seid=18050089611052352050 强化学习基本概念 强化学习的算法 通过价值选行为：(1)Q learning ; (2) Sarsa ; (3) Deep Q network 直接选行为： policy gradients 想象环境并从中学习...
[增强学习][Reinforcement Learning]学习笔记与回顾-1
BboySummer
05-18 3110
引言增强学习这几篇博客在于学习增强学习中所获得知识的理解与回顾，如果想要深入学习增强学习，请参考后文所列出的资料和书籍。本文只用于复习与理解。Introduction to Reinforcement Learning1.领域交叉这张图详尽的描述了增强学习与各个领域的交集，可以很多领域都涉及增强学习过程，自认为RL可能是科学这个空间里最接近强人工智能的一项，看到训练出的AI完成游戏的过程，就像是训练
强化学习（Reinforcement Learning, RL）概览
最新发布
MzKyle的博客
06-24 1616
强化学习是机器学习的分支，通过智能体与环境交互最大化累积奖励。其核心要素包括智能体、环境、状态、动作、奖励、策略和价值函数。数学基础为马尔可夫决策过程（MDP），涉及状态转移、奖励函数和折扣因子。算法分为基于价值（如Q-learning、DQN）、基于策略（如PPO）和Actor-Critic（如DDPG）三类。关键问题包括探索与利用平衡、连续空间处理和多智能体协作。深度强化学习前沿技术包括Rainbow DQN、分层学习和元学习。
强化学习study
u011632614的博客
07-26 369
强化学习DQN笔记写作目的区别算法理解代码链接 写作目的 看莫烦的强化学习代码，因为基础太差，就是听不懂，于是自己从头到尾扣了一遍理解，感觉清晰多了，感觉这倒是一个学习的好方法。 另，大家真的都能听懂吗，没有神经网络基础的纯小白那种。。。。。我是不是应该先啃一啃神经网络。。 不过真的感谢莫烦，不然我会更难，有时间想从头补一补 区别 q_learning使用q_table 记录下各状态的q值，适用于状态离散的情况（静态） DQN需要一个网络，相当于函数，需要q值时临时生成（动态） def choose_act
强化学习笔记：目标、奖励、回报和回合
热门推荐
chenxy_bwave的专栏
01-12 1万+
在上一篇我们介绍了强化学习问题的形式化(数学)框架：马尔科夫决策过程。本篇以及后续几篇继续讨论这个形式化(数学)框架下的关键要素和概念，如奖励和回报、策略、值函数、贝尔曼方程等等。
强化学习笔记(5)-回合策略梯度算法
12-05 2063
记录一下在阅读《强化学习：原理与python实现》这本书的学习笔记。 在之前学习到的强度学习方法中，每次更新价值函数只更新某个状态动作对的价值估计。但是有些情况下状态动作对的数量非常大，不可能对所有的状态动作对逐一更新。函数近似方法用参数化的模型来近似整个状态价值函数，并在每次学习时更新整个函数，这样，对于没有被访问过的状态动作对的价值估计也能得到更新。 函数近似方法采用一个参数为w的函数q(s,a:w)来近似动作价值。 ...
​李宏毅机器学习——强化学习Reinforcement Learning
iwill323的博客
10-31 3224
​李宏毅机器学习-- ​强化学习
【强化学习笔记】Reinforcement Learning Notes.pdf|Reinforcement Learning Notes.pdf
12-08
【强化学习笔记】Reinforcement Learning Notes，是和入门，逐步深入理解深度强化学习。
【机器学习】Reinforcement Learning-强化学习基础算法
长相忆兮长相忆的专栏
01-28 4308
强化学习（Reinforcement Learning, RL），又称增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。...
reinforcement_learning
02-06
《强化学习在阿里的技术演进与业务创新》电子书 温馨提醒： 1、本书约20M，需要一定下载时间，请耐心等待哦。 2、流量不足的童鞋，建议将地址复制到PC端浏览器后打开下载。
Reinforcement_Learning
11-20
有关增强学习的PDF学习资料，中科院老师讲课ppt (欢迎大家下载学习)
强化学习 reinforcement learning
10-22
Richard S.Sutton和Andrew G.Barto所著。学习强化学习的人都应该知道这两个人。本资料为旁听Rich Sutton课时老师推荐的阅读材料之一，本资料仅限个人使用，分三个压缩包上传。此为第二个
Reinforcement Learning: An Introduction
03-15
The authoritative textbook for reinforcement learning by Richard Sutton and Andrew Barto. Contents Preface Series Forward Summary of Notation I. The Problem 1. Introduction 1.1 Reinforcement Learning 1.2 Examples 1.3 Elements of Reinforcement Learning 1.4 An Extended Example: Tic-Tac-Toe 1.5 Summary 1.6 History of Reinforcement Learning 1.7 Bibliographical Remarks 2. Evaluative Feedback 2.1 An -Armed Bandit Problem 2.2 Action-Value Methods 2.3 Softmax Action Selection 2.4 Evaluation Versus Instruction 2.5 Incremental Implementation 2.6 Tracking a Nonstationary Problem 2.7 Optimistic Initial Values 2.8 Reinforcement Comparison 2.9 Pursuit Methods 2.10 Associative Search 2.11 Conclusions 2.12 Bibliographical and Historical Remarks 3. The Reinforcement Learning Problem 3.1 The Agent-Environment Interface 3.2 Goals and Rewards 3.3 Returns 3.4 Unified Notation for Episodic and Continuing Tasks 3.5 The Markov Property 3.6 Markov Decision Processes 3.7 Value Functions 3.8 Optimal Value Functions 3.9 Optimality and Approximation 3.10 Summary 3.11 Bibliographical and Historical Remarks II. Elementary Solution Methods 4. Dynamic Programming 4.1 Policy Evaluation 4.2 Policy Improvement 4.3 Policy Iteration 4.4 Value Iteration 4.5 Asynchronous Dynamic Programming 4.6 Generalized Policy Iteration 4.7 Efficiency of Dynamic Programming 4.8 Summary 4.9 Bibliographical and Historical Remarks 5. Monte Carlo Methods 5.1 Monte Carlo Policy Evaluation 5.2 Monte Carlo Estimation of Action Values 5.3 Monte Carlo Control 5.4 On-Policy Monte Carlo Control 5.5 Evaluating One Policy While Following Another 5.6 Off-Policy Monte Carlo Control 5.7 Incremental Implementation 5.8 Summary 5.9 Bibliographical and Historical Remarks 6. Temporal-Difference Learning 6.1 TD Prediction 6.2 Advantages of TD Prediction Methods 6.3 Optimality of TD(0) 6.4 Sarsa: On-Policy TD Control 6.5 Q-Learning: Off-Policy TD Control 6.6 Actor-Critic Methods 6.7 R-Learning for Undiscounted Continuing Tasks 6.8 Games, Afterstates, and Other Special Cases 6.9 Summary 6.10 Bibliographical and Historical Remarks III. A Unified View 7. Eligibility Traces 7.1 -Step TD Prediction 7.2 The Forward View of TD( ) 7.3 The Backward View of TD( ) 7.4 Equivalence of Forward and Backward Views 7.5 Sarsa( ) 7.6 Q( ) 7.7 Eligibility Traces for Actor-Critic Methods 7.8 Replacing Traces 7.9 Implementation Issues 7.10 Variable 7.11 Conclusions 7.12 Bibliographical and Historical Remarks 8. Generalization and Function Approximation 8.1 Value Prediction with Function Approximation 8.2 Gradient-Descent Methods 8.3 Linear Methods 8.3.1 Coarse Coding 8.3.2 Tile Coding 8.3.3 Radial Basis Functions 8.3.4 Kanerva Coding 8.4 Control with Function Approximation 8.5 Off-Policy Bootstrapping 8.6 Should We Bootstrap? 8.7 Summary 8.8 Bibliographical and Historical Remarks 9. Planning and Learning 9.1 Models and Planning 9.2 Integrating Planning, Acting, and Learning 9.3 When the Model Is Wrong 9.4 Prioritized Sweeping 9.5 Full vs. Sample Backups 9.6 Trajectory Sampling 9.7 Heuristic Search 9.8 Summary 9.9 Bibliographical and Historical Remarks 10. Dimensions of Reinforcement Learning 10.1 The Unified View 10.2 Other Frontier Dimensions 11. Case Studies 11.1 TD-Gammon 11.2 Samuel's Checkers Player 11.3 The Acrobot 11.4 Elevator Dispatching 11.5 Dynamic Channel Allocation 11.6 Job-Shop Scheduling Bibliography Index
2018-08-03 强化学习
maple yang 的博客
08-03 346
一、强化学习         强化学习包含多种算法，比如有通过行为的价值来选取特定行为的方法, 包括使用表格学习的 q learning, sarsa, 使用神经网络学习的 deep q network, 还有直接输出行为的 policy gradients, 又或者了解所处的环境, 想象出一个虚拟的环境并从虚拟的环境中学习 等等. 参考链接：https://morvanzhou.gith...
【强化学习】
勿于浮沙筑高台
11-23 264
1、强化学习概貌 强化学习是机器学习中的一个子分支，基本上完全模拟了婴儿学习认知世界的过程，在state执行了一定的action之后开始给予一定的reward，计算机总是尝试获取高分，在不断的尝试之后state会从历史的经验里面找到能获得最高分的action。 强化学习具有分数导向性，这个分数导向性和监督学习中的标签类似   2、强化学习分类 2.1算法级别分类 分类主要还是通过他们的...
强化学习笔记(1)-同策回合更新算法
08-16 1218
在我上一篇博客文章中对21点的策略进行了研究，采用蒙特卡洛的方式来进行大量的模拟，通过对比不同策略的收益来找到最佳的策略，这里主要是通过概率的思想来进行研究。 这里我打算换一种思路，采用强化学习的方法来进行研究。 环境模拟 首先我们需要先配置一个实验的环境，这里采用了Gym库的环境"Blackjack-v0"来进行模拟。以下代码是建立环境并用随机策略玩一个回合的代码。 import gym import numpy as np env = gym.make("Blackjack-v0") ob
Reinforcement Learning
ENJOY-NOW
04-17 618
Reinforcement Learning 1.  MDP( Markov Decision Process) : (S, A, P, R, r)  PI S ( state) A ( action ) r (discount) R (reward) G (Return) State-value function Action-value function
强化学习案例笔记解读
然而，从标签“强化学习”和提供的文件名称列表“笔记、案例”，我们可以推测文档可能与强化学习相关的学习资料有关。 强化学习是一种机器学习范式，主要研究如何让计算机能够在没有明确指令的情况下，通过与环境的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值