七月算法强化学习 第五课 学习笔记

最新推荐文章于 2025-06-13 12:30:35 发布
最新推荐文章于 2025-06-13 12:30:35 发布
阅读量360 收藏
点赞数
文章标签： 强化学习 七月在线 算法 图像 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/linkedin_39447410/article/details/78324654
版权

Policy Gradient策略梯度

增强学习的一些分类：

Value Based：值函数 Q值函数

Policy Based：不需要值函数 直接优化Policy

Actor Critic：学习值函数 学习Policy

Deterministic policy的问题


Policy Network


Gradient Ascent


Policy Objective


One step MDP


Multi-step MDP


考虑整个trajectory



展开整个trajectory


REINFORCE


Policy Gradient小结


Actor-critic



Compatible Function Approximation


Actor-critic证明




【李宏毅-强化学习笔记】p3-p5、Q_learning
weixin_43522964的博客
02-11 719
一、introduction of Q_learning 首先还是讲一下Q_learning的朴素理解：还记得蒙牛的牛仁根吗？他曾经说过：别问我的一双手能干多少事，惟问移泰山需要多少双手；别问我的一口锅能煮多少斤米，惟问劳千军需要多少口锅；别问我的一盏灯能照多少里路，惟问亮天下需要多少盏灯。这段话和Q_learning的思想有异曲同工之妙。 牛仁根的这段话鼓励我们志存高远，遇到困难披荆斩棘而不是望...
actor-critic 相关算法简述
星海浮生
03-15 2435
asynchronous advantage actor-critic（A3C）；pathwise derivative policy gradient；actor-critic 与 GAN 的关系
基于Pytorch的强化学习(DQN)之 Multistep TD target
ZDDWLIG的博客
03-26 2887
目录 1. 引言 2. 数学推导 3. 文献 1. 引言 我们之前已经学习了Sarsa算法和Q-learning算法，我们知道这两者都是基于TD算法的，我们又知道TD算法效果改变受TD target影响，我们思考一下，如果我们选用包含真实信息更多的TD target，效果会不会更好呢？下面我们来进行数学推导。 2. 数学推导 一切都源于这个公式：，我们再使用这个公式将展开得到 这个公式相较于前一个公式更加精确，因为它含有两个真实信息，而前面的公式只有一个,于是我们可以进一步...
强化学习-An introduction之 n-step Bootstrapping 个人笔记
MrTriste的博客
07-06 1137
Chapter 7 n-step Bootstrapping 什么是bootstrapping？ 第四章summary中讲到：That is, they update estimates on the basis of other estimates. We call this general idea bootstrapping。 即在其他估计的基础上更新估计，比如根据其他状态的估计值来更新...
机器学习与深度学习系列连载： 第三部分 强化学习（十六) 深度强化学习- Pathwise Derivative策略梯度
Doctor Wu的博客
12-09 2863
Pathwise Derivative策略梯度 我们在使用Critic（评估价值）的过程中，传统的方法只是给一个评估的值得大小，我们利用评估的值，采取增加倾向于评估值大的action的概率。 但是如果Critic不但给出对于action的评价，而且给出actor下一步的建议呢。（就像老师不但把我们作业批改了，然后还给出了怎么做好作业的建议，而传统的Critic知只是一个能给我们批改作业的老师，但...
强化学习笔记（二）---- 策略迭代算法
热门推荐
hold_on_me的专栏
08-15 1万+
强化学习有两种常见迭代训练算法：策略迭代算法和值迭代算法。本文中主要讲述策略迭代算法。 先从一个简答的问题开始，下图为一个四方格子，每个位置的状态空间分别为{1, 2, 3, 4}, 其中 3 的位置是个陷阱， 4的位置有个金币。有一个机器人从状态1的位置开始寻找金币。落入陷阱的回报为-1，找到金币的回报为1，在其他位置间移动回报为0，可选的动作空间为{上，下，左，右}， 通过这个简单的问题，来...
李宏毅强化学习完整笔记！开源项目《LeeDeepRL-Notes》发布
Datawhale
11-22 1005
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale开源核心贡献者：王琦、杨毅远、江季提起李宏毅老师，熟悉强化学习的读者...
强化学习框架
weixin_26729283的博客
10-10 1704
深层钢筋学习讲解— 20(DEEP REINFORCEMENT LEARNING EXPLAINED — 20) This is the post number 20 in the “Deep Reinforcement Learning Explained” series devoted to Reinforcement Learning frameworks. 这是职位号20 致力于强化学习框...
吴恩达机器学习基础课程笔记
tjujackson的博客
03-06 1318
吴恩达机器学习2022笔记
【强化学习学习笔记】动态规划原理详解及代码实例
Young824的博客
04-02 848
因为投过有关强化学习的岗位，最近在准备实习的面试，所以打算把强化学习的知识重新梳理一下。 因为强化学习和动态规划都是基于MDP的序贯决策问题，（所谓序贯决策问题，是指按时间顺序排列起来，以得到按顺序的各种决策(策略)）区别就在于动态规划是Model-Based的，而强化学习是Model-Free的，Model-Based和Model-Free的区别，因为今天的主题不是它们，所以就用一句话概括：区别...
Deterministic Policy Gradient Algorithms (DPG强化学习) 论文翻译
weixin_43590290的博客
08-30 1578
Deterministic Policy Gradient Algorithms David Silver, Guy Lever, Nicolas Heess, Thomas Degris, Daan Wierstra & Martin Riedmiller Abstract 在本文中，我们考虑确定性策略梯度算法，用于连续行动的强化学习。 确定性策略梯度具有特别吸引人的形式：它是动作 ...
机器学习-52-RL-04-Tips of Q-Learning(强化学习-Q学习的一些技巧:Double DQN&Dueling DQN&Prioritized Reply&Multi-step等)
迷雾总会解
01-23 1493
本片文章要讲的是训练 Q-learning 的一些 tips：Double DQN，Dueling DQN，Prioritized Reply，Multi-step(Balance between MC and TD)，Noisy Net(on Action vs on Q-function)，Distributional Q-function，Rainbow
强化学习的学习之路（十九）_2021-01-19： Multi-step DQN
热爱可抵漫长岁月
02-25 1555
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看优快云的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
强化学习：Markov Decision Process (基于南大俞扬博士演讲的修改和补充）
linyijiong的博客
08-07 2275
              马尔科夫决策过程（Markov Decision Process）       一、强化学习基本数学模型——马尔科夫过程（Markov Process） 大家可能听到了很多词，包括MDP，Q-Learning 、还有很多算法的名字，我在报告里就简单介绍一下强化学习发展的过程，以及里面会碰到什么问题。 强化学习的历史非常悠久，其中，早期的强化学习和它的一个数学...
深度强化学习第十二章——Deep Deterministic Policy Gradient（DDPG）
weixin_45549370的博客
11-08 1346
深度强化学习第十二章——Deep Deterministic Policy Gradient（DDPG1.Deterministic Policy Gradient(DPG)1.2 为什么要DPG2. Deep Deterministic Policy Gradient(DDPG)2.1 AC算法2.2 DDPG的四个网络3.DDPG 与 DPG 从名字上看DDPG是由D(Deep)+D(Deterministic)+PG(Policy Gradient)组成 1.Deterministic Policy
强化学习系列（七）：n-step Bootstrapping (步步为营）
LagrangeSK的博客
08-02 9826
一、前言 在强化学习系列（五）：蒙特卡罗方法（Monte Carlo)和强化学习系列（六）：时间差分算法（Temporal-Difference Learning)中，我们介绍了两种用于求解环境模型未知的MDP方法：MC和TD，MC是一种每episode更新一次的方法，TD是单步更新的方法，n-step Bootstrapping （步步为营）是一种介于TD和MC之间的方法，n-step更新一次...
RS-232通讯+SHA-256+AES_ECB - 128算法
ladack的博客
06-11 878
本文介绍了一个基于C语言的串口通信加密程序实现方案
【DRL】最简单的策略梯度(Policy Gradient)算法
xfxuezhang.cn
06-12 423
最简策略梯度(Policy Gradient)算法的实现
用Java实现常见排序算法详解
最新发布
m0_66884848的博客
06-13 872
本文介绍了6种常见排序算法的Java实现，包括冒泡、选择、插入排序等基础算法，以及快速、归并、堆排序等高效算法。对每种算法从基本思想、时间复杂度分析和Java代码实现三个方面进行详细说明，展示了排序算法的核心逻辑和性能特点。这些排序方法在计算机科学中具有广泛应用，理解其原理和实现有助于提升编程能力和算法思维。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值