策略学习（Policy-Based Reinforcement Learning)

已于 2022-03-23 15:00:48 修改
阅读量2.2k 收藏 8
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习
于 2022-03-22 20:32:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41903673/article/details/123663937
版权
本文详细介绍了策略网络在强化学习中的应用，它用于近似策略函数，输入状态输出动作概率。策略梯度算法是策略学习的一种方法，通过梯度上升更新策略网络参数，以最大化期望状态价值。文章提到了两种策略梯度算法的计算形式，并讨论了在实际计算中使用蒙特卡洛方法解决的问题。最后，介绍了策略学习的目标是优化策略网络，以提高在特定状态下的胜算。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

策略函数是一个概率密度函数。输入是状态s，输出的概率分布，反映的是接下来采取动作的概率。agent从中做一个随机抽样，如向上是0.7，则可能从中抽取向上的动作。

策略网络，用一个策略网络去拟合近似策略函数。例子：输入是当前状态（可能是一张图片），经过若干卷积层之后生成特征向量，然后经过全连接层把特征向量映射到三维向量（因为游戏里有三个动作），然后用softmax激活函数（该激活函数能将输出全为正数且和为1）将其输出为概率分布，输出的即为每个动作的概率。

动作价值函数：是Ut的条件期望，这个期望把t+1之后的状态s和动作a都消掉了。只依赖于当前的状态st和动作at。还依赖于策略函数π，用不同的π得到的就不一样。可以评价在状态st的情况下&#

最低0.47元/天 解锁文章
Policy-based Reinforcement learning
CltCj的博客
08-22 5298
强化学习 这一章会讲基于策略的强化学习 Value-Based Reinforcement Learning-DQN强化学习前言一、policy函数二、DQN2.1 游戏中agent的目标是什么？2.2 agent如何做决策？2.3 如何理解Q* 函数呢？2.5 DQN打游戏？三、如何训练DQN?3.1 TD算法3.2 TD算法训练DQN四、训练步骤六、总结 前言 说明一下：这是我的一个学习笔记，课程链接如下： 最易懂的强化学习课程 公众号：AI那些事 一、policy函数 我们回顾一下Acti
Policy-Based Reinforcement Learning（基于策略的强化学习）详解-ChatGPT4o作答
qq_46215223的博客
01-04 1164
Policy-Based RL 是强化学习的核心方法之一，直接优化策略，适用于复杂场景和连续动作空间。尽管存在高方差和样本效率低的问题，但通过改进算法（如 PPO、SAC）和混合方法（如 Actor-Critic），它在机器人控制、自动驾驶和游戏 AI 等领域展现出极大的潜力。策略梯度方法是 Policy-Based RL 的基础，直接优化策略函数参数 ( \theta ) 以最大化期望累积奖励 ( J(\theta) )。PPO 是一种先进的策略优化算法，改进了策略梯度方法的稳定性和效率。
强化学习——策略学习
菜到怀疑人生的博客
04-12 5163
文章目录前言策略学习策略学习的目标 前言 前段时间都在忙毕业论文，强化学习这块的总结就拉下了，本小节将对《深度强化学习》中的策略学习章节进行总结。如有错误，欢迎指出。 策略学习 价值学习让神经网络学习最优动作价值函数Qπ(s,a)Q_{\pi}(s,a)Qπ​(s,a)，而策略学习让神经网络学习最优策略函数π(a∣s)\pi(a|s)π(a∣s)，其中aaa表示智能体执行的动作，sss表示环境状态。如下图所示，策略学习中的神经网络的输入为状态sss，输出为智能体执行各个动作的概率，接着依据概率随机抽样一个动
策略学习(Policy-Based Reinforcement Learning)
weixin_44924725的博客
04-29 3856
前言 前面我们讲了强化学习的基本概念，这节课来说一说强化学习的策略学习（Policy-based）算法。 在进入正文之前说一句：策略学习的目标就是要用一个神经网络来近似策略函数，这个神经网络叫做策略网络（Policy Network），它可以用来控制agent运动；想要训练策略网络，就要用到Policy Gradient算法，该算法是策略学习的核心； 一、使用步骤 1.策略函数π（a|s）：它是一个概率密度函数，可以用来自动控制agent运动；它的输入是当前的状态s，输出是一个概率分布； 以超级玛丽这.
Policy-Based Reinforcement Learning
weixin_30429201的博客
04-08 150
Policy-based Approach policy-based 强化学习通常是要学习一个actor, actor可以用\(\pi_\theta (S)\) 来确定。如果我们用actor来玩游戏，那么每一局可以看成是一个操作序列\(\tau=\{s_1, a_1, r_1, s_2, a_2, r_2, \dots, s_T, a_T， r_T\}\) 其中\(s_i\) 表示状态，...
Reinforcement Learning（三）：Policy-Based
qq_38156104的博客
08-09 302
Policy Function Can we directly learn a policy function？ Policy Network State-Value Function Approximation Policy-Based Reinforcement Learning Policy Gradient 得到两种形式的策略梯度： 这个方法不适合连续的情况。 这种方法的好处是也适用于离散动作。 Update policy ne
狗都能看懂的Reinforcement Learning简介和Policy-Based方法的讲解
个人学习笔记
07-01 1412
小白也能看懂的强化学习简介+Policy-Based方法讲解-李宏毅老师课程笔记
Model-Based Reinforcement Learning
qq_45191106的博客
06-06 349
# Model-Based Reinforcement Learning## Principle We consider the optimal control problem of an MDP with a **known** reward function $R$ and subject to **unknown deterministic** dynamics $s_{t+1} = f(s_t, a_t)$:$$\max_{(a_0,a_1,\dotsc)} \sum_{t=0}^\infty \g
Value-Based Reinforcement Learning（基于值的强化学习）详解-ChatGPT4o作答
最新发布
qq_46215223的博客
01-04 756
Value-Based RL 是强化学习中最传统且有效的方法，通过学习值函数为智能体的行为提供决策依据。与基于策略的方法（Policy-Based RL）不同，Value-Based RL 不直接学习策略，而是通过优化值函数间接推导出策略。在 Value-Based RL 中，核心是学习一个值函数 ( V(s) ) 或 ( Q(s, a) )，并通过这些值函数来评估智能体在环境中的行为。表示从状态 ( s ) 开始，执行动作 ( a ) 后遵循策略 ( \pi ) 所能获得的累积奖励期望值。
强化学习RL 03: Policy-based Reinforcement Learning
天狼啸月1990的博客
02-27 1263
用一个神经网络来近似策略函数π。
策略模式学习
yuyufeiyanwu的博客
08-18 419
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I...
Policy-based Deep Reinforcement Learning: From 0 To 1 -- Policy Gradient
OhTuzimao的博客
04-12 614
先占个坑，立志于写一个简单易懂又符合逻辑的深度强化学习教程吧。这篇文章适合知道Reinforcement Learning是啥，稍稍有些理解，最好是对DQN有些理解的小伙伴们阅读。如果你还不知道强化学习的基本概念，Q Learning是什么，DQN是什么的话，那可以先去有个了解再回来哦。然后的话这篇文章里面部分数学方面的推导将直接给结论，因为有点太复杂了，感兴趣的朋友可以去原paper里去找。强化...
3 策略学习
小柴不会敲代码
06-15 1199
本章我们将用一个神经网络来近似策略函数，这个神经网络叫做policy network，用于控制agent的运动，我们将使用policy gradient算法来训练这个网络。用神经网络近似策略函数π（a|s）考虑离散动作空间，比如A = {左, 右, 上}。策略函数π定义为：策略函数π 的输入是状态s 和动作a，输出是一个0 到1 之间的概率值。举个例子，把马里奥游戏当前屏幕上的画面作为s，策略函数会输出每个动作的概率值：有了三个概率值，agent会进行一次随机抽样，得到动作a,但是动作“左”被抽到概率最大。
深度学习-策略学习
perfect_god的博客
07-30 511
J（θ）表示以S为随机变量对V函数进行期望，得到只和θ有关的平均状态价值函数，也就是可以利用J（θ）得到以θ为随机变量，与s无关，找到最好的θ参数，得到与s无关时最大的J（θ）。可以把Qπ挪到右边是因为这里假设Qπ与θ无关，而实际其实是有些关联的，所以这里不太严谨，挪到右边是为了让我们学明白点，好理解点。第二种在连续的时候用，但是由于做积分不太可能，因为近似出的π函数太复杂了，所以用蒙特卡洛近似近似出该积分。如果a离散，则可以直接用，但是一般不行，所以一般用蒙特卡洛近似。如何令策略网络越来越好？...
强化学习三 || 策略学习
qq1803291168
02-19 980
强化学习基础——π函数
强化学习：（三）策略学习
百把人的博客
07-31 1182
思路：用policy network来近似策略函数 \piπ​ ，用policy gradient算法来训练这个网络
深度强化学习3-策略学习
ss49344的博客
02-22 1462
深度强化学习第二章
深度强化学习——策略学习(3)
Tandy12356_的博客
04-17 862
我们让agent玩游戏，每一步都会观测到一个不同的状态s，这个s就相当于是从状态的概率分布当中随机抽样出来的，观测到状态s，把V（s,θ），关于θ求导，得到一个梯度，然后用梯度上升来更新θ，这里的β是学习率，其实这就相当于是随机梯度上升，我们算的不是梯度，真正的梯度是目标函数J（θ），关于θ的导数，这里我们算的是v关于θ的导θ数，其实就是一个随机梯度，随机性来自于S，为什么要用梯度上升呢？，蒙特卡洛就是抽一个或者几个随机样本，用随机样本来近似期望，更新模型参数θ的时候，用g()来作为近似的梯度就可以了。
机器学习策略2
qq_24548569的博客
07-13 602
进行误差分析 当你的学习算法的性能达到理想性能的90%时，找不到改进的方法，可以使用人工误差分析的方法来分析学习算法的瓶颈。 假设有一个猫分类器，它的分类精度达到90%了，有10%的误差，可以分析这10%的误差，看看什么产生这10%的误差。分析开发集中被错误标记的样本，发现狗被错误识别为猫。我们可能想新建一个项目，用来识别被错误识别的狗的图片。花费好几个月的时间来实现新的项目是否对猫分类器有大...
development of multi-agent reinforcement learning
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several decades, but recent advances in deep learning and computational power have led to significant progress in the field. The development of MARL can be divided into several key stages: 1. Early approaches: In the early days, MARL algorithms were based on game theory and heuristic methods. These approaches were limited in their ability to handle complex environments or large numbers of agents. 2. Independent Learners: The Independent Learners (IL) algorithm was proposed in the 1990s, which allowed agents to learn independently while interacting with a shared environment. This approach was successful in simple environments but often led to convergence issues in more complex scenarios. 3. Decentralized Partially Observable Markov Decision Process (Dec-POMDP): The Dec-POMDP framework was introduced to address the challenges of coordinating multiple agents in a decentralized manner. This approach models the environment as a Partially Observable Markov Decision Process (POMDP), which allows agents to reason about the beliefs and actions of other agents. 4. Deep MARL: The development of deep learning techniques, such as deep neural networks, has enabled the use of MARL in more complex environments. Deep MARL algorithms, such as Deep Q-Networks (DQN) and Deep Deterministic Policy Gradient (DDPG), have achieved state-of-the-art performance in many applications. 5. Multi-Agent Actor-Critic (MAAC): MAAC is a recent algorithm that combines the advantages of policy-based and value-based methods. MAAC uses an actor-critic architecture to learn decentralized policies and value functions for each agent, while also incorporating a centralized critic to estimate the global value function. Overall, the development of MARL has been driven by the need to address the challenges of coordinating multiple agents in complex environments. While there is still much to be learned in this field, recent advancements in deep learning and reinforcement learning have opened up new possibilities for developing more effective MARL algorithms.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值