股票操作之强化学习基础（三）（Deep Q Network、Actor-critic、Policy gradients）

最新推荐文章于 2024-03-06 15:10:12 发布
最新推荐文章于 2024-03-06 15:10:12 发布
阅读量7.1k 收藏 12
点赞数 1
分类专栏： 量化杂文 文章标签： 算法 深度学习 机器学习 强化学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_31611005/article/details/104194349
版权
本文介绍了强化学习在股票操作中的基础，重点关注了Deep Q Network（DQN）和Actor-critic算法。DQN通过经验回放缓冲区和双网络解决Q-learning的挑战，而Actor-critic结合了值基和策略基方法，通过Actor和Critic两个模块进行优化。尽管Actor-critic收敛较慢，但它启发了更先进的Deep Deterministic Policy Gradient算法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

股票操作之强化学习基础（三）（Deep Q Network、Actor-critic、Policy gradients）

接上一篇文章继续介绍一些强化学习基础。

1 DQN（Deep Q Network）

DQN是一种融合了神经网络和Q-learning的方法。那么DQN提出来的动机是什么呢？Q-learning算法的核心是学习Q-table，然而真实世界的状态非常多，这些状态多到计算机已经无法储存了。比如在围棋中，不同的牌面布局就有很多种。因此DQN被提出来，其核心思想就是利用神经网络来近似这个Q-table。

举个例子：假设一个学习好的Q-table如下：
在这里插入图片描述
假设我们用一个神经网络来近似这个Q-table，输入状态（state）和动作（action），就能利用神经网络输出其对应Q-table中的Q值。或者我们输入一个状态，神经网络可以输出所有动作对应的Q值。
在这里插入图片描述
但是单纯的用神经网络代替Q-table又是不可行的，其原因主要如下 [2]：

1）DL（Deep learning，深度学习）是监督学习需要学习训练集，强化学习不需要训练集只通过环境进行返回奖励值reward，同时也存在着噪声和延迟的问题，所以存在很多状态state的reward值都是0也就是样本稀疏。

2）DL每个样本之间互相独立，而RL（ReinforcementLearning，强化学习）当前状态的状态值是依赖后面的状态返回值的。

3）当我们使用非线性网络来表示值函数的时候可能出现不稳定的问题。

最低0.47元/天 解锁文章
【人工智能机器学习基础篇】——深入详解强化学习之常用算法Q-Learning与策略梯度，掌握智能体与环境的交互机制
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
01-01 1499
【人工智能机器学习基础篇】——深入详解强化学习之常用算法Q-Learning与策略梯度，掌握智能体与环境的交互机制
强化学习（Policy Gradient，Actor Critic）
nakaizura
03-26 6863
强化学习是通过奖惩的反馈来不断学习的，在Q-Learning，Sarsa和DQN中，都是学习到了价值函数或对价值函数的近似，然后根据价值来选择策略（如选择最大价值的动作），所以这一类也被称为Value Based Model。但是这种处理方式有几处瓶颈： 处理连续动作效果差。对于高维度或连续状态空间，使用Value Based通过得到价值函数再制定策略，需要比较所有action的价值大小，此时选...
Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient
ygp12345的博客
10-18 500
文章目录回顾Actor-CriticAdvantage Actor-CriticAsynchronous Advantage Actor-Critic (A3C)Pathwise Derivative Policy GradientQ Learning 和 Pathwise Derivative Policy Gradient 的执行过程对比： 回顾 Policy gradient G表示在sts_tst​采取ata_tat​一直玩到游戏结束所得到的cumulated reward。这个值是不稳定的，因为
强化学习PolicyGradients
JasonSparrow_1的博客
03-05 365
Policy Gradients 通过奖惩机制reward，来对选择进行反向传递，从而确定是否需要进行加大，或者减小选择的力度
Policy Gradients & Actor Critic
x3464的博客
09-26 472
Policy Gradients 直接输出概率 Policy gradient 是 RL 中另外一个大家族, 他不像 Value-based 方法 (Q learning, Sarsa), 但他也要接受环境信息 (observation), 不同的是他要输出不是 action 的 value, 而是具体的那一个 action, 这样 policy gradient 就跳过了 value 这个阶段. 而且个人认为 Policy gradient 最大的一个优势是: 输出的这个 action 可以是一个连续
强化学习系列 5 : Policy Gradients
女王の专属领地
05-07 1967
强化学习是一个通过奖惩来学习正确行为的机制. 家族中有很多种不一样的成员, 有学习奖惩值, 根据自己认为的高价值选行为, 比如 Q learning, Deep Q Network, 也有不通过分析奖励值, 直接输出行为的方法, 这就是今天要说的 Policy Gradients 了. 甚至我们可以为 Policy Gradients 加上一个神经网络来输出预测的动作. 对比起以值为基础的方法
深度强化学习总结(DQN,DDQN,Actor-Critic,DDPG)
endlessne的博客
01-10 6023
DQN与Double DQN的区别： DQN： YtDQN=Rt+1+γmaxaQ(St+1,a:θt−)Y^{DQN}_t=R_{t+1}+ \gamma\underset{a}{max}Q(S_{t+1},a:\theta^-_t)YtDQN​=Rt+1​+γamax​Q(St+1​,a:θt−​). 即模型输出的为Q值,然后根据Q值去计算 YDQNY^{DQN}YDQN. Doube DQN： YtDoubleDQN=Rt+1+γQ(St+1,argmaxaQ(St+1,a:θt);θt−)Y^{D
强化学习算法学习汇总笔记 (二) — Actor Critic、DDPG、A3C、
Hansry的博客
06-27 9867
一. Actor Critic 1.基本概念 Actor Critic 为类似于Policy Gradient 和 Q-Learning 等以值为基础的算法的组合。 a. 其中Actor 类似于Policy Gradient，以状态s为输入，神经网络输出动作actions，并从在这些连续动作中按照一定的概率选取合适的动作action。 b. Critic 类似于 Q-Learning 等以...
请采用python以Tensorflow为架构编写《Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor》版本的SAC强化学习算法代码
05-27
以下是基于Tensorflow的《Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor》版本的SAC强化学习算法的Python代码： ```python import tensorflow as tf import...
深度强化学习之Policy Gradient & Actor-Critic Model & A3C
I AM BACK
01-12 7407
policy gradient actor-critic A3Cpolicy gradient在之前的DQN是进行value function的approximation，是value-vased RL。这次要讲的是policy-based RL。对于RL的policy直接进行参数表示：比如可以输入state（一幅图片，一个feature vector），然后由带有参数的某种算法（比如linear
利用强化学习进行股票操作实战（三）
01-07
与上一篇文章相同之处 对于交易策略，与上一篇文章相同，当发出买入指令时，一次性全部买入；当发出卖出指令时，一次性全部卖出。还没有添加加减仓操作。 模型仍然用的是DQN模型。 新增内容 在之前的基础上加入了交易手续费、印花税等。 在强化学习这个领域中，reward函数是一个需要精心设计的函数。目前暂时没有好的reward设计思路，但还是修改了之前的reward函数。（其实之前的reward的设计也是错的） 首先将第二天的股票价格的涨跌幅当做reward。 reward =(self.trend[self.t + 1] - self.trend[self.t]) / self.trend[self
DRL之Policy Gradient, Deterministic Policy Gradient与Actor Critic
芦金宇的专栏
11-25 1086
我们已经知道，Policy Gradient的方法的基本思想是通过评价动作action的好坏，来调整该action的出现概率。最基本的Policy Gradient的损失函数Loss就是 　　   　　这里先以Q值来指代对动作的评价。由于一般训练中，我们要最小化loss，因此公式取负号。 　　那么问题就是Q值是对动作好坏最好的评价吗? 　　显然不是。最理想的状
怎样理解Actor-Critic与Policy Gradient之间的关系
June
02-03 564
其实不应该把Actor-Critic看做是DQN和PG之间的结合 PG是通过MC方法来获得总的回报G的，而这个方式其实有点慢，需要完整的采样。而TD就是针对这个问题改进的措施，DQN本质是哪个就是用网络来逼近TD这个算法，Actor-Critic 可以看做是用TD的方法来改进PG ...
强化学习（三）——Policy Gradients、Actor Critic、DDPG、A3C四种算法思想
colourgxk的博客
04-25 1599
一、Policy Gradients算法 在强化学习（二）中讲过的Q learning算法是根据分析Q值来选取动作，那么本节介绍一个直接输出动作的算法：Policy Gradients。该算法可以在一个连续区间输出动作（输出的动作可以是连续值）。Policy Gradients通过更新神经网络来决定输出策略，那神经网络是如何进行更新呢？利用reward值来引导某一个动作是否应该增加...
Policy Gradients
The Thinker
02-28 404
https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/ Policy Gradients的特点：回合更新，连续动作（与Q Learning不同） Actor-Critic出现的原因：能够适用于连续动作的选取，并且能够进行单步更新。简而言之，就是具备了Q Learning与Policy Grad...
强化学习篇-由Policy-Gradient到Actor Critic-纯新手向
weixin_43295229的博客
04-28 1381
这里写自定义目录标题强化学习-Actor CriticBasic Components&&Policy-Gradientπθ\pi_\thetaπθ​-策略episodeTrajectory（轨迹）E[R]-Expected Reward（Reward的期望值）Policy-Gradient功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的...
（8-3）Dueling DQN 算法：股票交易策略系统（1）
最新发布
码农三叔
03-06 1432
股票交易的深度强化学习项目旨在探索和应用深度强化学习算法来开发更智能、更有效的股票交易策略。该项目结合了强化学习和深度学习技术，旨在提高股票交易的盈利性和风险管理。1项目亮点强化学习算法：项目采用了多种强化学习算法，包括DQN（Deep Q-Network）、Double DQN和Dueling Double DQN。这些算法具有自主学习和决策能力，可以根据市场数据来自动调整交易策略。数据准备：项目使用历史股票市场数据，包括开盘价、收盘价、最高价和最低价等信息，为算法提供训练和测试数据。
利用深度强化学习预测股价
数据森麟
09-19 7199
作者介绍：王茂霖，北京航空航天大学飞行器设计专业博士在读，python、C++入门小白。个人公众号：(vvrn1_field) 0.总体思路本文灵感来源于Si...
csdn_export_md
weixin_44796784的博客
03-01 174
1 绪论 1.1 研究背景 1.2 研究意义 1.3 研究现状 1.4 本文结构 2 相关工作介绍 2.1 机器学习 2.1.1 传统机器学习 2.1.2 深度学习 2.2 强化学习 2.2.1 传统强化学习算法 2.2.2 深度强化学习算法 2.3 强化学习在股票量化交易上的应用 2.3.1 传统强化学习在股票量化交易系统上的应用 2.3.2 深度强化学习在股票量化交易系统上的应用 2.3 本章小结 3 基于DQN的股票量化交易分析 3.1 DQN介绍 3.2 当前针对DQN算法的改进 3.2.1 Dou
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值