强化学习PolicyGradients

最新推荐文章于 2025-07-01 19:19:43 发布
最新推荐文章于 2025-07-01 19:19:43 发布
阅读量391 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： RLpython 文章标签： RL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JasonSparrow_1/article/details/88029002
本文深入解析了PolicyGradients策略梯度算法的工作原理，包括如何通过奖惩机制调整策略，实现动作选择概率的优化。文章详细介绍了回合更新机制，以及如何构建全连接层并利用softmax函数转换动作值为概率。同时，阐述了如何通过最小化损失函数来最大化实际动作概率，展示了算法的具体实现流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Policy Gradients

通过奖惩机制reward，来对选择进行反向传递，从而确定是否需要进行加大，或者减小选择的力度
因为Policy Gradients是回合更新，不是每步更新，所以是在回合进行结束后，才对参数和reward进行调整

  1. 建立两个全链接层
  2. 利用softmax将所有的动作值转换成概率
    	self.all_act_prob = tf.nn.softmax(all_act, name='act_prob')
  3. 为了套用tf中神经网络的Loss，将动作的概率加负号进行最小化，从而将实际概率值最大化
    	neg_log_prob = tf.reduce_sum(
		-tf.log(self.all_act_prob)*tf.one_hot(self.tf_acts, self.n_actions), axis=1
	)
    loss = tf.reduce_mean(neg_log_prob * self.tf_vt)  # reward guided loss
    
    self.train_op = tf.train.AdamOptimizer(self.lr).minimize(loss)
  4. 取和存现在的状态
    	def choose_action(self, observation):
        prob_weights = self.sess.run(self.all_act_prob, 
        	feed_dict={self.tf_obs: observation[np.newaxis, :]})
        action = np.random.choice(
        	range(prob_weights.shape[1]), p=prob_weights.ravel())  
        # select action w.r.t the actions prob
        return action

    def store_transition(self, s, a, r):
        self.ep_obs.append(s)
        self.ep_as.append(a)
        self.ep_rs.append(r)
强化学习算法：策略梯度 (Policy Gradient) 原理与代码实例讲解
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
09-14 371
强化学习算法：策略梯度 (Policy Gradient) 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍
强化学习 之 Policy Gradient
Test_tju的博客
07-29 882
简介 强化学习是一个通过奖惩来学习正确行为的机制。 其中，Q learning、Sarsa、Deep Q Network等通过学习奖惩值， 根据自己认为的高价值选行为； Policy Gradients则不通过分析奖励值，直接输出行为，即接受环境信息 (observation)后，他要输出不是 action 的 value，而是具体的那一个 action，这样 policy gradient 就跳...
强化学习（Reinforcement Learning, RL）中的策略（Policy）
Rhett_Butler0922的博客
05-01 999
在强化学习中，策略是智能体决策的核心，定义了在给定状态下如何选择动作。πS→AπS→AπS→PAπS→PA其中PAPA表示动作空间AA上的概率分布。强化学习中的策略是智能体与环境交互的核心，决定了如何根据状态选择动作。策略可以是确定性的或随机的，通过表格表示或函数逼近实现。优化策略的方法包括基于价值的、基于策略的，以及 Actor-Critic 方法。深度强化学习通过神经网络建模策略，结合探索与利用技术，解决复杂任务。
Policy Gradients
weixin_30691871的博客
03-17 154
这篇博客只是为了自己记录，思路比较跳跃。 Policy Gradients 不估计局面的价值，转而预测选取每个动作的概率。因为某些游戏中我们可能会需要在相同的状态下做出随机行为，比如说某些资源有限的游戏，我们不可能一直在某一个地方一直获取资源。 更新函数是\(\theta_{t+1}=\theta_t + \alpha \cfrac{\partial J}{\partial \theta}\)，其...
强化学习：Policy Gradients 学习笔记
只是个人学习笔记
07-01 1614
Policy Gradient（基于 Softmax 的策略梯度算法）是强化学习中的经典策略梯度方法，通过直接优化策略函数来最大化累积奖励。
强化学习系列 5 : Policy Gradients
女王の专属领地
05-07 1997
强化学习是一个通过奖惩来学习正确行为的机制. 家族中有很多种不一样的成员, 有学习奖惩值, 根据自己认为的高价值选行为, 比如 Q learning, Deep Q Network, 也有不通过分析奖励值, 直接输出行为的方法, 这就是今天要说的 Policy Gradients 了. 甚至我们可以为 Policy Gradients 加上一个神经网络来输出预测的动作. 对比起以值为基础的方法
【强化学习】之Policy Gradients
北国觅梦
05-14 630
参考链接：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/5-1-A-PG/ 目录 对比Policy Gradients和Q-learning Policy Gradients和Q-learning的反向传递不同之处 Policy Gradients 的核心思想 算法 对比Po...
5.2 Policy Gradients 思维决策 (强化学习 Reinforcement Learning 教学)
08-31
#5.2_Policy_Gradients_思维决策_(强化学习_Reinforcement_Learning_教学)
什么是 策略梯度 Policy Gradients (Reinforcement Learning 强化学习)
08-30
什么是_策略梯度_Policy_Gradients_(Reinforcement_Learning_强化学习)
【深度强化学习】(3) Policy Gradients 模型解析，附Pytorch完整代码
博观而约取，厚积而薄发
03-10 4852
强化学习中策略梯度算法是对策略进行建模，然后通过梯度上升更新策略网络的参数。Policy Gradients中无法使用策略的误差来构建损失函数，因为参数更新的目标是最大化累积奖励的期望值，所以策略更新的依据是某一动作对累积奖励的影响，即增加使累积回报变大的动作的概率，减弱使累积回报变小的动作的概率。
强化学习-Policy Gradients
winycg的博客
03-19 1785
策略网络，即建立一个神经网络模型，通过观察环境状态，直接预测出目前应该执行的策略(Policy)，执行这个策略可以获得最大期望收益。策略网络不只是使用当前的reward作为期望收益，而是使用discounted future reward，即把未来奖励乘上衰减系数γ，γ为略小于1的数，期望收益为r=r1+γr2+γ2r3+⋯+γn−1rnr=r1+γr2+γ2r3+⋯+γn−1rnr=r_{1}+...
【深度强化学习】策略梯度 Policy Gradients
B417科研笔记
06-29 1768
重读《Deep Reinforcemnet Learning Hands-on》， 常读常新， 极其深入浅出的一本深度强化学习教程。 本文的唯一贡献是对其进行了翻译和提炼， 加一点自己的理解组织成一篇中文笔记。原英文书下载地址: 传送门 原代码地址： 传送门本文是书本第九章，介绍DQN的一种替代：策略梯度方法。在DQN方法中，我们主要是通过深度网络，得到不同状态下不同动作所对应的Q值，然后选取Q值最大的动作。 这一策略我们可以表示如下：π(s)=arg⁡maxaQ(s,a) \pi(s)=\arg m a
【强化学习】强化学习中，策略是什么？该如何进行衡量？详细进行解释
wq6qeg88的博客
08-10 1918
策略（Policy）是智能体在每个状态下选择动作的规则或函数。确定性策略（Deterministic Policy）：对于每个状态，确定性策略给出一个确定的行动。用函数 () 表示，() 是在状态 () 下智能体选择的动作。随机策略（Stochastic Policy）：对于每个状态，随机策略定义了一个动作的概率分布。用函数 () 表示，其中 () 是在状态 () 下采取动作 () 的概率。策略可以是离散的（即在有限动作空间中选择动作）或者连续的（即在连续动作空间中选择动作）
Policy Gradient
qq_45944185的博客
06-30 542
简介 强化学习是一个通过奖惩来学习正确行为的机制。 家族中有很多种不一样的成员，有学习奖惩值，根据自己认为的高价值选行为， 比如 Q learning, Deep Q Network, 也有不通过分析奖励值，直接输出行为的方法，这就是今天要说的 Policy Gradient 了。甚至我们可以为 Policy Gradients 加上一个神经网络来输出预测的动作。对比起以值为基础的方法，Policy Gradients 直接输出动作的最大好处就是，它能在一个连续区间内挑选动作，而基于值的，比如 Q-lear
Policy Gradients & Actor Critic
x3464的博客
09-26 502
Policy Gradients 直接输出概率 Policy gradient 是 RL 中另外一个大家族, 他不像 Value-based 方法 (Q learning, Sarsa), 但他也要接受环境信息 (observation), 不同的是他要输出不是 action 的 value, 而是具体的那一个 action, 这样 policy gradient 就跳过了 value 这个阶段. 而且个人认为 Policy gradient 最大的一个优势是: 输出的这个 action 可以是一个连续
深度强化学习（三）：Policy Gradients
LagrangeSK的博客
05-17 5535
一、基本思想 强化学习是一个通过reward来学习正确行为的机制，家族中有很多种不一样的成员，有value-based方法：通过计算value function，根据自己认为的高价值选行为, 比如 Q learning, Deep Q Network（DQN)。也有不通过分析value function，直接输出action的方法，如 Policy Gradients 。 那么我们思考一个问题...
深入理解强化学习——强化学习智能体的四要素：策略（Policy）
冯·诺依曼
10-16 2594
在某些情况下，策略可能是一个简单的函数或查询表，而在另一些情况下，它可能涉及大量的计算，例如搜索过程。策略本身是可以决定行为的，因此策略是强化学习智能体的核心。一般来说，策略可能是环境所在状态和智能体所采取的动作的随机函数。[2] Richard S. Sutton, Andrew G. Barto. 强化学习（第2版）[M]. 电子工业出版社, 2019。策略是智能体的动作模型，它决定了智能体的动作。如图下图所示，从雅达利游戏来看，策略函数的输入就是游戏的一帧，它的输出决定智能体向左移动或者向右移动。
强化学习之Policy Gradient
qq_42498154的博客
11-13 386
策略梯度1.什么是策略梯度2.Policy Gradient算法更新3.Policy Gradient思维决策 1.什么是策略梯度 1.1.策略梯度是属于强化学习的一种算法，他是Q-learning和DQN的改进，强化学习是通过奖惩来不断学习的机制，有学习奖惩的值，有根据价值选行为的Q-learning和DQN，也有不通过奖励值直接输出动作的概率Policy Gradients 1.2.Policy Gradient好处： 2.Policy Gradient算法更新 3.Policy Gradient思维
policy gradients
最新发布
07-29
<think>首先，用户的问题是：“我想了解策略梯度方法及其在强化学习中的应用 请问policy gradients in reinforcement learning explained”，翻译成英文是：“I want to understand policy gradient methods and their applications in reinforcement learning. Please explain policy gradients in reinforcement learning.” 我需要基于系统级指令来构建回答。指令包括： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如:[^1]。 - 回答结构清晰，帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 - 参考站内引用：用户提供了几个引用，但它们似乎与策略梯度相关，我需要整合它们。 提供的引用： - [^1]: 关于策略梯度中梯度估计的问题。 - [^2]: 强化学习的基本介绍。 - [^3]: 关于深度Q学习的引用。 用户的问题是关于策略梯度的，所以我应该专注于策略梯度方法，并自然地融入这些引用。 结构化回答： 1. **介绍策略梯度方法**：简要解释什么是策略梯度，它在强化学习中的作用。 2. **核心概念**：解释策略梯度的数学基础，包括目标函数、梯度计算等。使用LaTeX公式。 3. **梯度估计问题**：讨论如何估计梯度，特别是当状态分布未知时。引用[^1]相关。 4. **应用**：描述策略梯度在强化学习中的应用，如游戏、机器人控制等。引用[^2]和[^3]如果相关。 5. **算法**：可能提供一个简单的伪代码或代码示例，类似于快速排序的示例。 6. **生成相关问题**：在回答结束时，添加相关问题部分。 使用中文回答。 关键点： - 策略梯度方法直接优化策略函数，而不是值函数。 - 目标是最小化期望累积奖励的负值，或最大化。 - 梯度公式：$\nabla J(\theta) = \mathbb{E}[\nabla \log \pi(a|s;\theta) Q(s,a)]$ 或其他形式。 - REINFORCE算法是一个基础策略梯度方法。 - 问题：梯度依赖于状态分布的变化，这可能导致高方差。 - 解决方案：如Actor-Critic方法，使用基线减少方差。 - 应用：在AlphaGo、机器人等领域。 整合引用： - [^1]提到梯度估计问题：当策略变化时，状态分布未知，如何估计梯度。这可以自然地融入解释中。 - [^2]介绍强化学习，可以用于背景。 - [^3]关于深度Q学习，可能不直接相关，但策略梯度可以与深度网络结合，如Deep Policy Gradients。 生成相关问题： - 类似于示例：3个相关问题。 回答结构： 1. **引言**：定义策略梯度方法。 2. **数学基础**：解释目标函数和梯度计算。 3. **挑战与解决方案**：讨论梯度估计问题和减少方差的方法。 4. **应用与示例**：提供实际应用。 5. **代码示例**：如果可能，添加一个简单的REINFORCE算法代码。 6. **相关问题**：结尾部分。 确保LaTeX正确： - 行内公式：$...$ - 独立公式：$$...$$ 单独成段。 例如： - 行内：策略梯度目标函数是$J(\theta)$。 - 独立：梯度公式为 $$\nabla J(\theta) = \mathbb{E}\left[\nabla \log \pi(a|s;\theta) A(s,a)\right]$$ 现在，草拟回答。</think>### 策略梯度方法及其在强化学习中的应用 策略梯度（Policy Gradient）方法是强化学习（Reinforcement Learning, RL）中的一类核心算法，它直接优化策略函数（policy），而不是间接通过值函数（如Q-learning）进行学习。策略梯度方法的核心思想是通过梯度上升来最大化期望累积奖励，从而找到最优策略。这类方法在处理高维状态空间或连续动作空间时表现出色，广泛应用于游戏AI、机器人控制和自动驾驶等领域[^2]。下面我将逐步解释策略梯度方法的原理、数学基础、挑战及其应用。 #### 1. **策略梯度方法的基本原理** 在强化学习中，策略$\pi(a|s;\theta)$定义了在状态$s$下选择动作$a$的概率，其中$\theta$是策略的参数（例如神经网络的权重）。策略梯度方法的目标是最大化期望累积奖励$J(\theta)$，定义为： $$ J(\theta) = \mathbb{E}\left[\sum_{t=0}^{T} \gamma^t r_t \mid \pi(\theta)\right] $$ 这里，$\gamma$是折扣因子（$0 < \gamma \leq 1$），$r_t$是时间步$t$的即时奖励，$T$是时间步长（可能为无穷）。策略梯度方法通过计算$J(\theta)$的梯度$\nabla J(\theta)$，并使用梯度上升更新参数： $$ \theta \leftarrow \theta + \alpha \nabla J(\theta) $$ 其中，$\alpha$是学习率。关键挑战在于$\nabla J(\theta)$依赖于状态分布的变化，而状态分布又受策略影响，这导致梯度估计困难[^1]。 #### 2. **策略梯度的数学基础** 策略梯度定理（Policy Gradient Theorem）提供了梯度$\nabla J(\theta)$的通用表达式，避免了直接处理状态分布的复杂性。定理表明： $$ \nabla J(\theta) = \mathbb{E}\left[\nabla \log \pi(a|s;\theta) \cdot Q^{\pi}(s,a)\right] $$ 这里，$Q^{\pi}(s,a)$是状态-动作值函数（即在策略$\pi$下，从状态$s$执行动作$a$的期望累积奖励）。这个公式的核心是使用对数概率的梯度$\nabla \log \pi(a|s;\theta)$加权$Q^{\pi}(s,a)$，从而引导策略向高奖励方向更新。 - **REINFORCE算法**：一个基础策略梯度方法，它使用蒙特卡洛采样估计梯度。具体来说，在每次轨迹（trajectory）结束后计算梯度： $$ \nabla J(\theta) \approx \frac{1}{N} \sum_{i=1}^{N} \sum_{t=0}^{T} \nabla \log \pi(a_t^i|s_t^i;\theta) \cdot G_t^i $$ 其中，$G_t^i = \sum_{k=t}^{T} \gamma^{k-t} r_k^i$是从时间步$t$开始的累积奖励，$N$是采样轨迹数。REINFORCE简单但方差高，因为$G_t^i$的随机性大。 - **减少方差的技术**：为了改进REINFORCE，常引入基线（baseline）函数，如状态值函数$V^{\pi}(s)$，形成优势函数$A(s,a) = Q^{\pi}(s,a) - V^{\pi}(s)$。梯度公式变为： $$ \nabla J(\theta) = \mathbb{E}\left[\nabla \log \pi(a|s;\theta) \cdot A(s,a)\right] $$ 这降低了方差，提高了学习效率。Actor-Critic方法结合了策略梯度（Actor）和值函数近似（Critic），是这一思想的扩展，Critic用于估计$A(s,a)$或$V^{\pi}(s)$[^3]。 策略梯度估计的核心问题在于：梯度依赖于策略变化对状态分布的影响，而状态分布通常是未知的，这使得直接计算$\nabla J(\theta)$不切实际[^1]。因此，实际中常使用采样方法（如蒙特卡洛或时间差分）进行近似。 #### 3. **策略梯度在强化学习中的应用** 策略梯度方法因其灵活性和可扩展性，在多个领域有广泛应用： - **游戏AI**：例如，AlphaGo使用了策略梯度变体（结合蒙特卡洛树搜索），在围棋中击败世界冠军[^2]。在Atari游戏中，策略梯度方法（如A3C）能直接从像素输入学习控制策略。 - **机器人控制**：在连续动作空间中（如机器人行走），策略梯度方法（如TRPO或PPO）优化策略参数，实现平滑的动作输出。 - **自然语言处理**：用于对话系统中策略的优化，通过奖励函数引导生成高质量回复。 策略梯度方法特别适合处理高维输入和随机环境，但需注意其挑战：高方差可能导致训练不稳定；需要大量样本；参数调优较敏感。 #### 4. **简单代码示例：REINFORCE算法** 以下Python代码展示了REINFORCE算法的简化实现（使用PyTorch框架）。假设环境为离散动作空间（如CartPole）。 ```python import torch import torch.optim as optim import numpy as np from collections import deque # 定义策略网络（简单神经网络） class PolicyNetwork(torch.nn.Module): def __init__(self, state_dim, action_dim): super(PolicyNetwork, self).__init__() self.fc = torch.nn.Linear(state_dim, action_dim) def forward(self, state): logits = self.fc(state) return torch.nn.functional.softmax(logits, dim=-1) # REINFORCE算法 def reinforce(env, episodes=1000, gamma=0.99, lr=0.01): state_dim = env.observation_space.shape[0] action_dim = env.action_space.n policy = PolicyNetwork(state_dim, action_dim) optimizer = optim.Adam(policy.parameters(), lr=lr) for episode in range(episodes): state = env.reset() rewards, log_probs = [], [] done = False # 采样轨迹 while not done: state_tensor = torch.tensor(state, dtype=torch.float32) action_probs = policy(state_tensor) action = torch.multinomial(action_probs, 1).item() next_state, reward, done, _ = env.step(action) log_prob = torch.log(action_probs[action]) rewards.append(reward) log_probs.append(log_prob) state = next_state # 计算累积奖励和梯度 returns = [] G = 0 for r in reversed(rewards): G = r + gamma * G returns.insert(0, G) returns = torch.tensor(returns) returns = (returns - returns.mean()) / (returns.std() + 1e-9) # 标准化减少方差 # 梯度上升 policy_loss = [] for log_prob, G in zip(log_probs, returns): policy_loss.append(-log_prob * G) optimizer.zero_grad() loss = torch.stack(policy_loss).sum() loss.backward() optimizer.step() if episode % 100 == 0: print(f"Episode {episode}, Total Reward: {sum(rewards)}") ``` 此代码中，策略网络输出动作概率，通过最大化累积奖励$G$更新参数。注意，标准化$G$是为了减少方差（类似基线技术）。 #### 总结 策略梯度方法通过直接优化策略参数，在强化学习中提供了一种强大且通用的框架。其核心优势在于处理连续动作和高维状态，但梯度估计的方差问题需要技巧（如Actor-Critic或基线）来缓解[^1]。随着深度学习的发展，策略梯度方法（如PPO、SAC）已成为现代强化学习的基石[^3]。如果您有具体场景或算法细节的疑问，欢迎进一步讨论！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值