深度强化学习(DRL)

最新推荐文章于 2025-05-23 13:40:21 发布
最新推荐文章于 2025-05-23 13:40:21 发布
阅读量1.3w 收藏 41
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习 DeepLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/coder_Gray/article/details/84622090
深度强化学习（DRL）是深度学习和强化学习的结合，克服了两者单独的局限性。强化学习基于马尔可夫决策过程（MDP），通过奖惩机制寻找最优策略。DRL通过引入深度神经网络解决Q-learning的泛化问题，采用经验回放和分离目标网络以提高稳定性。主要方法包括基于值函数、基于策略梯度和基于多agent的DRL，其中DQN是一种常用的技术。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DRL形成背景

深度强化学习（Deep Reinforcement Learning）顾名思义，是深度学习与强化学习的结合，因此深度强化学习弥补了DL和RL的不足之处。

  • 深度学习最近火热，大家也都有所了解，就是通过多层网络和非线性变换，去学习数据的分布式特征表示，因此深度学习侧重于对事物的感知和表达。
  • 而强化学习，了解的同学都知道，通过奖惩机制去挖掘最优策略，因此它侧重于学习解决问题的策略。

因此由于深度学习特征感知能力强却缺乏决策能力，引入了深度强化学习这个概念。

强化学习

要了解深度强化学习，首先要了解强化学习这个概念，接下来就简单介绍一下强化学习的基础知识。

强化学习是从环境状态到动作空间的映射的一种学习。它的基础是马尔可夫决策过程（MDP），即：当前状态只与上一个状态有关，不考虑上一个状态之前的累积影响。

通常MDP被定义为一个四元组（S,A,R,P）：

  • S代表状态空间，St表示agent在t时刻所处的状态。
  • A代表动作空间，at表死agent在t时刻所进行的动作。
  • R代表奖励／惩罚reward，可以代表一个学习过程的反馈，其中rt+1代表在t时刻St状态下，做出at动作后，转移到达St+1状态所获得的奖励。
最低0.47元/天 解锁文章
强化学习：Q-Learning算法
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
12-10 474
文章目录强化学习Q-Learning算法1. 问题及原因2. Estimator原理与思想（1）单估计器方法（Single Estimator）（2）双估计器方法（Double Estimator） 强化学习 论文发表在国际顶级期刊《Science》上，2016.3，透过自我对弈数以万计盘进行练习强化，AlphaGo在一场五番棋比赛中4:1击败顶尖职业棋手李世石。2016.12，Master(AlphaGo版本)开始出现于弈城围棋网和腾讯野狐围棋网，取得60连胜的成绩，以其空前的实力轰动了围棋界。Deep
深度强化学习库的设计思想带你深入了解DRL：从环境、网络更新、经验池、经验池、算法基类分离度、分布式、多进程等方面评价
丨汀、的博客
07-15 3258
深度强化学习库的设计思想带你深入了解DRL：从环境、网络更新、经验池、经验池、算法基类分离度、分布式、多进程等方面评价
深入强化学习：原理、算法及应用实践
最新发布
weixin_42598278的博客
05-23 1246
强化学习是一种机器学习范式，旨在让机器通过与环境交互来学习如何在特定的环境中实现最大化累计奖励。其核心理念源于行为心理学，即通过奖励（正反馈）和惩罚（负反馈）来训练智能体（Agent）做出正确决策。在强化学习中，状态通常指的是环境在某一时刻的完整描述。它可以是一个简单的表示，如棋盘上的布局，或者一个复杂的多维特征向量，如机器人感知周围环境的传感器数据。状态是环境向学习代理呈现的信息，代理需要根据这些信息做出决策。理解状态在强化学习中的作用至关重要。首先，状态为代理提供了进行决策所需的上下文信息。
深度强化学习（DRL）
weixin_44894536的博客
01-17 194
DRL-IS:Deep Reinforcement Learning with Iterative Shift for Visual Tracking
qq_38198853的博客
12-17 734
发表于ECCV2018，论文链接 亮点：文章把跟踪任务视为基于深度强化学习的目标边界框的迭代移位，并引入actor-critic网络来评估是否更新目标模型、采取什么样的方法进行模型更新。 直接上图： 网络分为3个子网络： 1) the actor network,输出为是否更新，怎么更新（四个action） 2) the prediction network,输出迭代移位  3) ...
【深度学习】深度强化学习
大雨的博客
12-22 1734
深度强化学习基于强化学习的基本框架，通过观察环境状态、采取动作、接收奖励等过程，学习到最优策略。它使用神经网络对状态和动作之间的映射进行建模，可以处理高维度、非线性的状态和动作空间。同时，深度强化学习使用值函数来评估状态或状态-动作对的价值，通过最大化价值函数来学习最优策略；使用策略函数来表示智能体的行为策略，通过优化策略函数来学习最优策略。
深度强化学习DRL-pytorch框架-代码大全
08-23
DRL 算法的简明 pytorch 实现，包括 REINFORCE、A2C、Rainbow DQN、PPO（离散和连续）、DDPG、TD3、SAC、PPO-离散 RNN（LSTM/GRU）。 python==3.7.9 pip install numpy==1.19.4 pip install torch==1.12.0 pip ...
深度强化学习（Deep Reinforcement Learning, DRL）
dundunmm的博客
03-24 1549
深度强化学习（DRL）是强化学习（Reinforcement Learning, RL）与深度学习（Deep Learning）相结合的一种方法，能够在复杂环境中通过试错学习最优策略。它广泛应用于机器人控制、游戏 AI、个性化推荐、自主驾驶等领域。
深度强化学习(DRL)原理与代码实战案例讲解
AI大模型应用之禅
05-21 932
1. 背景介绍 1.1 人工智能的演进：从符号主义到连接主义 人工智能(AI) 的发展经历了漫长的历程，从早期的符号主义到如今的连接主义，标志着人工智能从基于规则的推理演变到基于数据的学习。符号主义AI试图通过逻辑和符号系统来模拟人类的思维过程，而连接主义AI则侧重于构建类似于人
强化学习,深度学习,深度强化学习
myzts的专栏
07-03 2634
1.深度学习:任何通过神经网络的训练和学习都是深度学习 2.强化学习:基于MDP(马尔可夫决策过程),通过状态(state),决策(action),以及奖励(reward)和转化概率来进行学习的就是强化学习,通过求Q*(state,action),求pai*,复杂一点就可能不知道奖励和转化概率 3.深度强化学习:深度学习和强化学习的结合,就是通过定义一个函数Q(s,a)=w1*feature1
DRL:深度强化学习
03-31
深度强化学习 概述。 强化学习[] [] []。 基于价值的学习[] []。 基于策略的学习[] []。 演员批评方法[] []。 AlphaGo [] []。 TD学习。 Sarsa [] []。 Q学习[] []。 多步TD目标[] []。 基于价值的学习的高级主题。 体验重播（ER）和优先级ER [] []。 高估，目标网络和双重DQN [] []。 决斗网络[] []。 具有基线的策略梯度。 具有基线的政策梯度[] []。 带有基线的REINFORCE [] []。 优势演员评判（A2C）[] []。 REINFORCE与A2C [] []。 基于策略的学习的高级主题。 信任区域策略优化（TRPO）[] []。 部分观察和RNN。 处理连续动作空间。 离散控制与连续控制[] []。 连续控制的确定性策略梯度（DPG）[] []。 连
强化学习：在60天内学习深度强化学习！ Python讲座和代码。 强化学习+深度学习
02-04
深度强化学习课程 探索神经网络和强化学习的结合。 Python和PyTorch中的算法和示例 您是否听说过和的取得了惊人的结果？ 这都是关于深度神经网络和强化学习的。 您是否想了解更多？ 这是您最终学习Deep RL并将其用于新的令人兴奋的项目和应用程序的正确机会。 在这里，您将找到这些算法的深入介绍。 您将学习q学习，q学习，PPO，演员评论家，并使用Python和PyTorch实施它们。 最终目的是使用这些通用技术并将其应用于各种重要的现实世界问题。 德米斯·哈萨比斯（Demis Hassabis） 该存储库包含： 主要来自DeepMind和Berkley Youtube的频道的讲
从深度学习到强化学习
11-27
知行合一：从深度学习到深度增强学习，余 凯，创始人&CEO;，地平线机器人技术，讲座资料
深度强化学习
m0_72579657的博客
07-22 734
而深度强化学习，作为一种崭新的机器学习方法,同时具有感知能力和决策能力，它是深度学习与强化学习的结合，二者的结合涵盖众多算法、规则、框架,并广泛应用于机器人、无人机、无人车、无人艇、兵棋推演、自动驾驶、能源分配、编队控制、航迹规划、路由规划等众多领域，具有极高的研究与应用价值。中国科学院计算技术研究所、清华大学、北京理工大学等科研机构和大学的高级专家，拥有丰富的科研及工程技术经验，长期从事人工智能、机器学习、深度学习、大数据分析等领域的教学与研究工作。1.Gym安装2.Gym使用3.强化学习。...
深度强化学习Deep Rrinforcement Learning|MDP|POMDP
m0_64578069的博客
07-16 1862
现代网络规模大、结构复杂，计算复杂度很快变得难以控制。因此，DRL一直在发展成为克服这一挑战的替代解决方案。马尔科夫链(Markov Chain)、马尔科夫决策过程(Markov Decision Process,MDP)、部分可观察马尔科夫决策过程(Partially Obserable Markov Decision Process,POMDP)、隐马尔科夫模型(HMM)。
深度强化学习(DRL)基础
RuizhiHe
11-28 8551
深度强化学习（Deep Reinforcement Learning）是值得深入学习研究且非常有意思的领域，但是其数学原理复杂，远胜于深度学习，且脉络复杂，概念繁杂。强化学习是一个序贯决策过程，它通过智能体（Agent）与环境进行交互收集信息，并试图找到一系列决策规则（即策略）使得系统获得最大的累积奖励，即获得最大价值。环境（Environment）是与智能体交互的对象，可以抽象地理解为交互过程中的规则或机理，在围棋游戏中，游戏规则就是环境。强化学习的数学基础和建模工具是马尔可夫决策过程（Markov De
【DRL】深度强化学习介绍
追风赶月莫停留，平芜尽处是春山
07-27 4093
深度强化学习本文介绍：[Python] 深度Q网络（DQN）实现[Python] REINFORCE算法实现[Results] 运行结果随着深度学习的迅猛发展，深度强化学习（Deep Reinforcement Learning, DRL）将深度学习与强化学习相结合，使得处理高维状态空间成为可能。
深度强化学习算法drl
04-01
### 深度强化学习 (Deep Reinforcement Learning, DRL) 的基本原理 深度强化学习的核心在于结合深度学习的强大表示能力与强化学习的目标优化机制。具体而言，DRL旨在通过与环境的交互，使智能体学会一个策略（policy），从而最大化长期累积奖励[^1]。 #### 贝尔曼最优公式的理论基础 根据收缩映射定理（Contraction Mapping Theorem），贝尔曼最优公式中的状态价值函数 \(v\) 存在一个唯一最优解，并且可能存在多个达到该最优值的策略[^2]。这一结论为后续算法的设计提供了坚实的数学依据。 #### 基于值的算法：DQN 实现详解 深度Q网络（DQN）是最早成功的深度强化学习算法之一，它将深度神经网络用于近似Q表（Q-table）。为了提升训练效率和稳定性，DQN引入了两项关键技术： 1. **经验回放（Experience Replay）** 将每次交互的经验存储至缓冲区，在训练过程中随机抽样这些数据以打破时间关联性并减少样本间的相关性[^3]。 2. **目标网络（Target Network）** 使用独立的目标网络计算目标值，定期同步权重参数，以此降低更新过程中的波动性和不稳定性。 以下是经典的DQN实现代码示例： ```python import torch import random from collections import deque class DQN: def __init__(self, state_dim, action_dim, lr=0.001, gamma=0.99): self.state_dim = state_dim self.action_dim = action_dim self.gamma = gamma # 定义在线网络和目标网络 self.online_net = self.build_network(state_dim, action_dim).to(device) self.target_net = self.build_network(state_dim, action_dim).to(device) self.target_net.load_state_dict(self.online_net.state_dict()) self.optimizer = torch.optim.Adam(self.online_net.parameters(), lr=lr) self.replay_buffer = deque(maxlen=1e5) def build_network(self, input_size, output_size): model = torch.nn.Sequential( torch.nn.Linear(input_size, 64), torch.nn.ReLU(), torch.nn.Linear(64, output_size) ) return model def update_target_network(self): self.target_net.load_state_dict(self.online_net.state_dict()) def train_step(self, batch_size): if len(self.replay_buffer) < batch_size: return minibatch = random.sample(self.replay_buffer, batch_size) states, actions, rewards, next_states, dones = zip(*minibatch) states = torch.tensor(states, dtype=torch.float32).to(device) actions = torch.tensor(actions, dtype=torch.int64).unsqueeze(-1).to(device) rewards = torch.tensor(rewards, dtype=torch.float32).unsqueeze(-1).to(device) next_states = torch.tensor(next_states, dtype=torch.float32).to(device) dones = torch.tensor(dones, dtype=torch.bool).unsqueeze(-1).to(device) current_q_values = self.online_net(states).gather(dim=-1, index=actions) with torch.no_grad(): target_q_values = self.target_net(next_states).max(dim=-1)[0].unsqueeze(-1) targets = rewards + (~dones * self.gamma * target_q_values) loss = torch.mean((targets - current_q_values)**2) self.optimizer.zero_grad() loss.backward() self.optimizer.step() ``` #### 基于策略的算法：REINFORCE 和 Actor-Critic 架构 REINFORCE算法属于蒙特卡洛方法的一种变种，其核心思想是从一整幕轨迹中采样数据进行梯度估计，虽然这种方法无偏，但由于仅依赖最终回报作为信号源，因此具有较高的方差[^4]。为缓解此问题，许多现代算法采用Actor-Critic框架，其中Critic部分负责提供即时反馈，而Actor则专注于调整策略分布。这种架构既降低了方差又保留了一定程度上的无偏性质。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值