Reinforcement Learning易忘知识点总结

最新推荐文章于 2025-07-16 20:59:40 发布
原创 最新推荐文章于 2025-07-16 20:59:40 发布 · 637 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#RL

本文介绍了强化学习的基本概念，包括值函数、状态值函数和动作值函数等，并探讨了策略估计、策略改进及迭代的方法。此外还讲解了蒙特卡罗方法、时间差分学习及其在Q-learning和Sarsa算法中的应用。

值函数(value function)

在这里插入图片描述
在这里插入图片描述
常用的公式：

  • 表示可以对未来的期望打出一定的折扣，着重考虑一些固定的reward。
  • 当 γ \gamma γ的值为0时为只考虑立即不考虑长期；当值为1时立即和长期考虑同等重要。

状态值函数(state value function)和动作值函数(action value function Q函数)是不同的
在这里插入图片描述
其中的a是给定的，而不是像动作值函数中a是由 π ( s ) \pi(s) π(s)计算得来的
强化学习的目的就是求解马尔可夫决策过程(MDP)的最优策略，使其在任意初始状态下，都能获得最大的 V π ( s ) V^\pi(s) Vπ(s)值
在这里插入图片描述因为V和Q的关系，所以显而易见在这里插入图片描述从所有的可选动作选择的Value值中选择最大的一个Value值
在这里插入图片描述

策略估计(Policy Evaluation)

拓展到一般情况，在某个策略 π \pi π下，有可能可采取的动作不止一种。例如在之前的走迷宫例子中，可以在某一格选择走不同方向，利用如下的公式进行更新Value function
在这里插入图片描述
总体来说更新的过程是通过对未来的状态下的Value function值进行折扣，从而对现在的value function进行更新
从而更新的方式有两种：

  1. 先将第k次迭代的V值存储到一个数组中，在第k+1次迭代中使用这一个数组中的数据，将k+1次迭代的内容存到另一个数组中在这里插入图片描述
  2. 另一种方法是不断更新这个数组，在第k+1次迭代中，将使用最新的数据在这里插入图片描述能够及时获取新值，能更快的收敛

策略改进(Policy Improvement)

策略改进定理：对于一个 π ∗ \pi^* π∗，如果其所有的状态s，都有 Q π ( s , π ∗ ( s ) ) ≥ V π ( s ) Q^\pi(s,\pi^*(s))≥V^\pi(s) Qπ(s,π∗(s))≥Vπ(s)，那么则有策略 π ∗ \pi^* π∗必然比 π \pi π优
使用贪心进行不断迭代，从而得到策略改进

策略迭代(Policy Iteration)

在这里插入图片描述

值迭代(Value Iteration)

值迭代是通过直接从可选的动作空间中选择最大的V值，而不需要通过策略 π \pi π来得到最大的V值
在获得最大的V值之后，从而利用value function得到最后的最优 π ∗ \pi^* π∗
在这里插入图片描述

蒙特卡罗方法

蒙特卡罗方法就是依靠样本的平均回报来解决增强学习问题的

蒙特卡罗策略估计(Monte Carlo Policy evalution)

有两种方法，first-visit MC methods和every-visit MC methods

  1. 用来计算平均回报的样本仅为一个回合中第一次访问状态s的样本
  2. 为一个回合中所有访问状态s的样本

持续探索(Maintaining Exploration)

如果在计算Q值函数的时候，前两个动作已经有了大小区分，那么在结果上将会执行前两个action的动作，而不会更新后面两个动作的Q值函数了，所以需要一个ε-greedy policy，即在所有的状态下，用1-ε的概率来执行当前的最优动作，ε的概率来执行其他动作
最终通过减小ε来收敛

时间差分学习(Temporal-Difference learning, TD learning)

在这里插入图片描述

TD Learing思想

本质上是将迭代的函数发生了变化，用实际值和估计值的差来当作学习的内容
在这里插入图片描述
在这里插入图片描述

Q-learning和Sarsa比较

Sarsa算法更新的时候是通过Q值函数，而不是通过Value function，利用的思想就是TD思想，on-policy表示在决定 Q ( s t + 1 , a t + 1 ) Q(s_{t+1},a_{t+1}) Q(st+1​,at+1​)时需要根据 π \pi π策略决策
在这里插入图片描述
Q-learning算法更新的时候是通过直接取所有action中的max来实现off-policy
在这里插入图片描述

总结来自------Kintoki

强化学习Reinforcement Learning的算法可解释性和可信赖度
AI天才研究院
11-17 1049
《强化学习Reinforcement Learning的算法可解释性和可信赖度》 关键词：强化学习，算法可解释性，算法可信赖度，可解释性分析，可视化，敏感性分析，鲁棒性分析，公平性分析，安全性分析，数学模型，项目实战
强化学习Reinforcement Learning中的异常检测与处理方法
AI天才研究院
06-23 1287
强化学习Reinforcement Learning中的异常检测与处理方法 1.背景介绍 强化学习（Reinforcement Learning, RL）作为机器学习的一个重要分支，近年来在各个领域取得了显著的进展。其核心思想是通过与环境的交互，学习
Q学习算法：强化学习中最著名的基于价值函数的算法
01-12 1428
根据观察到的新状态和奖励，Q学习算法会使用更新规则来更新Q值函数的值。Q学习算法是一种基于价值函数的强化学习算法，它通过估计每个状态动作对的价值来确定最优策略。状态和动作：Q学习算法中，智能体与环境进行交互，根据当前的状态选择一个动作执行。策略选择：基于更新后的Q值函数，智能体会选择具有最高Q值的动作作为下一步的行动。更新Q值函数：根据观察到的新状态和获得的奖励，使用更新规则更新Q值函数的值。通过多次迭代上述步骤，Q学习算法会不断更新Q值函数的值，直到收敛到最优策略。状态转移：将新状态设为当前状态。
正态分布，Q函数，误差函数，补误差函数
热门推荐
枇杷树上的博客
07-30 2万+
正态函数（高斯分布） 若随机变量X服从一个位置参数为μ、尺度参数为σ的概率分布，且其概率密度函数为 f(x)=12π−−√σe−(x−μ)22σ2f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{\sqrt{2π} \sigma}e^{-\frac{(x- \mu)^{2}}{2 \sigma ^{2}}} 则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正...
关于Q学习算法
FM_1793的博客
10-10 547
Q 学习算法是一种强化学习算法，用于解决马尔可夫决策过程（Markov Decision Process，MDP）中的最优策略学习问题。其中，α是学习率（Learning Rate），γ是折扣因子（Discount Factor），s_t 和 a_t 是当前状态和动作，s_(t+1)是下一个状态，r_t 是获得的奖励。总的来说，Q 学习是一种强化学习算法，通过迭代地更新 Q 值函数来学习最优策略，使智能体能够做出在不同环境下最优的决策。Q 学习算法通过不断迭代更新 Q 值函数来学习最优策略。
【强化学习】——Q-learning算法为例入门Pytorch强化学习
lingxw的博客
06-22 4910
强化学习（Reinforcement Learning，RL）是一种机器学习方法，其目标是通过智能体（Agent）与环境的交互学习最优行为策略，以使得智能体能够在给定环境中获得最大的累积奖励。
强化学习之基本核心概念与分类
RosebudTT的博客
05-18 1145
1.基本词汇 States and Observations 状态S可以完整地描述外部环境，观察O有可能会遗漏。如果O能够完整地观察S，就是环境就是完全可观察，否则就是部分可观察的 Action Spaces 行动空间是所有可以的行动S组成的空间，可以是离散的，也可以是连续的。 Policies 策略可以是确定性的，一般表示为μ，也可以是随机的，一般表示为π。 Rewards 强化学习中Agent的目标是累积获得最多奖励，一般来说奖励是随着运动轨迹衰减的。从直观上
Continuous control with deep reinforcement learning.pdf
09-02
根据提供的文件内容，可以总结出以下IT知识： 1. 深度强化学习与连续控制：文档标题“Continuous control with deep ...这些知识点对于理解深度强化学习在物理控制任务中的应用具有重要的理论和实践意义。
Reinforcement learning state of the art
11-19
### 强化学习现状及其关键技术知识点 #### 一、引言 《强化学习：现状》是一本由Marco Wiering和Martijn van Otterlo编辑的经典书籍，该书全面介绍了强化学习领域的最新进展和技术细节。作为《适应、学习与优化》...
Hands-On Reinforcement Learning - Sudharsan Ravichandiran.pdf
05-13
根据给定的文件信息，该文档是一本名为《Hands-On Reinforcement Learning with Python》的...由于书籍内容较多，以上仅为部分内容的知识点总结。对于具体的强化学习算法实现和应用，还需深入阅读全书以获得完整知识。
Q 函数、误差函数、互补误差函数及常用函数
04-15
Q 函数、误差函数、互补误差函数及常用函数， 在工程数学，通信领域，信息论，等等学科内 需要经常用到Q函数，误差函数，互补误差函数， 这里有他们的简介，请大家参看
强化学习Q-Learning算法
有点傻的小孩的博客
03-19 2595
强化学习Q-Learning算法前言基本概念基本概念递推关系 前言 学习这个算法有一段时间了，但是因为自己犯懒一直没有整理。现整理一下，一方面有刚入门的同学可以参考，另一方面哪里写错或者理解不深的还请大家及时指正。 基本概念 基本概念 首先列出一些强化学习中的基本概念，主要是为了帮助自己回忆起学习这个算法的过程。 状态值函数：智能体在状态 sss 处的累计回报的期望值被称为智能在在采用策略 π\...
强化学习之深度Q函数
StepLeave的博客
06-28 1万+
背景：强化学习之深度Q函数
Q函数
xiaowang_007的专栏
12-04 4943
Q函数定义为它具有以下性质：
【强化学习解惑】强化学习中的策略（policy）、价值函数（value function）和Q函数分别代表什么？
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
07-16 1125
强化学习中的策略（policy）、价值函数（value function）和Q函数分别代表什么？
强化学习入门第一讲笔记
max119xlx的博客
06-24 331
原来的值函数就是一个表格型函数，现在状态空间是高维的，不能再用表格表示，用一个函数来逼近值函数，比如用线性、或者非线性，当函数的类型确定了之后，确定这个逼近函数的过层 其实就是确定参数的过程， 对于三种表格型值函数更新方法都是统一格式 （目标值函数-当前值函数）*学习率=更新后的值函数 立即回报是状态做了动作之后得到的值？ 比如s1状态做退出的动作，回报是0， 那决策π其实是当前状态执行这个动...
EM算法Q函数推导过程详解
qq_33909788的博客
12-22 2124
在机器学习领域中，EM算法是一种常用的求解隐变量模型参数的方法。在使用EM算法时，我们需要用到一个重要的函数——Q函数，它在求解过程中起着至关重要的作用。然而，很多人在使用EM算法时，并没有深入了解Q函数的推导过程，这也导致了在实践中的一些困惑和误解。因此，本篇文章将详细介绍Q函数的推导过程，以帮助读者更好地理解EM算法的实现原理。
深度学习十大算法之深度Q网络（DQN）
第欧根尼的酒桶的博客
04-05 4303
DQN是一种算法，它使用深度神经网络来逼近最优的Q函数。在传统的Q学习中，Q函数用于估计在给定状态下采取特定动作的期望回报。DQN通过训练神经网络来学习这个Q函数，使其能在更复杂的环境中做出决策。深度Q网络（DQN）自推出以来已经取得了显著的成功，但它在未来发展中还面临一些挑战和改进的空间。以下是对DQN未来发展的一些展望，包括当前挑战、改进方向和潜在影响。
ChatGPT 拓展资料： 强化学习-SARSA算法
大模型与Agent智能体
03-19 2725
具体来说，SARSA算法使用了一个“状态-动作-奖励-状态-动作”（SARSA）序列来更新Q值函数，即在当前状态下选择一个动作并获得奖励后，下一个状态的动作选择也是基于当前策略来进行的。其中，s是当前状态，a是当前执行的动作，r是观察到的奖励，s’是下一个状态，a’是根据下一个状态选择的动作，α是学习率，γ是折扣因子。具体来说，SARSA算法将智能体的行为看作是一种序列决策过程，在每个时间步中，根据当前状态、选择的动作、获得的奖励以及下一个状态和动作的信息，通过更新Q值函数来优化智能体的决策。
reinforcement learning toolbox AC函数使用
03-16
<think>嗯，用户问的是如何在MATLAB的强化学习工具箱中使用AC函数。首先，我需要回忆一下AC函数的用途和基本语法。AC代表Actor-Critic，是一种强化学习算法，结合了策略梯度（Actor）和价值函数（Critic）的方法。 首先，我应该检查用户提供的引用内容，看看是否有相关的信息。引用[3]提到了MATLAB强化学习工具箱中的随机数种子设置，但并没有直接涉及AC函数的使用。不过用户的问题主要集中在AC函数的使用上，所以可能需要从其他资源或已有的知识来回答。 接下来，我需要考虑用户可能的背景。他们可能已经对强化学习有一定的了解，但需要具体的操作步骤和示例。因此，回答应该包括AC函数的参数说明、示例代码以及可能的注意事项，比如环境创建、网络结构定义等。 然后，我应该确保回答符合用户提供的系统级指令，比如使用正确的LaTeX格式，生成相关问题，并且结构清晰。例如，在解释AC函数时，使用行内数学公式如$Q(s,a)$，以及独立公式块展示算法中的关键公式。 另外，用户可能需要示例代码来说明如何使用AC函数。根据MATLAB的文档，创建AC智能体通常需要定义Actor和Critic网络，然后使用这些网络初始化智能体。代码示例应该包括这些步骤，并确保语法正确，比如使用rlACAgent函数。 还需要注意引用标识的添加。虽然用户提供的引用中没有直接相关的信息，但如果有必要的话，可能需要引用相关文档或资料，但根据现有引用，可能暂时无法添加，所以需要检查是否遗漏了可能的引用点。 最后，生成的相关问题应该围绕AC函数展开，比如与其他算法的对比、参数调优、收敛性分析等，帮助用户进一步探索该主题。 总结一下，回答的结构应该是先介绍AC函数的基本用法，然后分步骤说明如何创建环境、定义网络、初始化智能体、配置训练参数，并提供示例代码。同时，注意使用正确的格式和生成相关问题，确保回答清晰且符合用户的要求。</think>以下是关于MATLAB强化学习工具箱中`AC`函数（Actor-Critic算法）的用法说明： --- ### 1. **AC函数的基本用法** AC（Actor-Critic）算法结合了策略梯度（Actor）与值函数近似（Critic），适用于连续或离散动作空间的任务。在MATLAB中，通过`rlACAgent`类实现。 #### 关键步骤： 1. **定义环境**：需创建强化学习环境对象（如`rlPredefinedEnv`或自定义环境）。 2. **构建Actor和Critic网络**： - Actor网络输出动作概率分布（离散）或均值/方差（连续）。 - Critic网络评估状态值函数$V(s)$。 3. **初始化AC智能体**： ```matlab actorNetwork = createActorNetwork(); % 自定义Actor网络 criticNetwork = createCriticNetwork(); % 自定义Critic网络 agent = rlACAgent(actorNetwork, criticNetwork); ``` 4. **配置训练参数**： ```matlab trainOpts = rlTrainingOptions(... 'MaxEpisodes', 1000, ... 'StopTrainingCriteria', 'AverageReward', ... 'StopTrainingValue', 200); ``` --- ### 2. **示例代码** 以Cart-Pole平衡问题为例： ```matlab % 创建预定义环境 env = rlPredefinedEnv('CartPole-Discrete'); % 定义Actor网络（离散动作） actorNetwork = [ featureInputLayer(4, 'Normalization', 'none') fullyConnectedLayer(24, 'WeightsInitializer', 'he') reluLayer() fullyConnectedLayer(2, 'WeightsInitializer', 'he') softmaxLayer() ]; % 定义Critic网络 criticNetwork = [ featureInputLayer(4, 'Normalization', 'none') fullyConnectedLayer(24, 'WeightsInitializer', 'he') reluLayer() fullyConnectedLayer(1) ]; % 创建AC智能体 agent = rlACAgent(actorNetwork, criticNetwork); % 训练智能体 trainingStats = train(agent, env, trainOpts); ``` --- ### 3. **关键参数说明** - **Actor网络**：需包含`softmaxLayer`（离散动作）或输出均值/方差（连续动作）。 - **Critic网络**：输出标量值函数$V(s)$，用于计算优势函数$A(s,a) = Q(s,a) - V(s)$[^3]。 - **训练选项**：需设置最大训练轮次（`MaxEpisodes`）、奖励阈值（`StopTrainingValue`）等。 --- ### 4. **注意事项** - **网络初始化**：建议使用`He`或`Glorot`初始化，避免梯度消失。 - **探索策略**：可通过设置`ExplorationOptions`调整动作噪声（如高斯噪声）。 - **随机种子**：使用`rng(seed)`确保实验可复现性。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值