郭建鹏的博客

将强化学习运用到量化投资中实战篇(执行模块开发）文章目录将强化学习运用到量化投资中实战篇(执行模块开发）1.设置程序参数2. 强化学习设置3.运行强化学习强化学习股票投资执行模块（main.py）配置程序参数进行各种条件下的强化学习，根据输入因素使用学习器类进行强化学习，并存储学习到的神经网络。本节内容主要介绍这个模块的程序参数和强化学习执行逻辑。1.设置程序参数通过指定各种选项配置程序参数以执行强化学习。以下代码片段显示了程序参数设置部分。强化学习股票投资执行模块：程序因子设置import o

强化学习学习模块（learners.py）包含实现各种强化学习方法的类。DQNLearner、PolicyGradientLearner、ActorCriticLearner、A2CLearner 和 A3CLearner 分别是基于深度 Q -learning、策略梯度、Actor-critic、A2C 和 A3C 强化学习技术的类实现。根据股票投资的特点，每种技术在理论上可能略有不同。

强化学习学习模块（learners.py）包含实现各种强化学习方法的类。DQNLearner、PolicyGradientLearner、ActorCriticLearner、A2CLearner 和 A3CLearner 分别是基于深度 Q -learning、策略梯度、Actor-critic、A2C 和 A3C 强化学习技术的类实现。根据股票投资的特点，每种技术在理论上可能略有不同。

在本节内容中，将详细介绍神经网络模块中包含的几个神经网络类的属性和功能，并详细讲解基于 Python和Pytorch 实现的源码。本节内容的神经网络模块包括基本的深度神经网络 DNN、LSTM和卷积神经网络 CNN。

代理模块（agent.py）有一个代理类（Agent）。代理类充当购买或出售股票的投资者，并具有称为初始资本、现金余额和股票余额（持有股票余下的股数）的状态。您的现金和股票余额的估值总和就是投资组合价值。我们简称这个PV。投资组合是对一组金融资产（如股票、债券、基金和现金）的估值，但这里只考虑股票,

环境模块（environment.py）包含环境类（Environment）。 环境类管理代理将投资的股票的图表数据。 我们在环境类中有完整的图表数据，按照从过去的时间点到最近的时间点按时间顺序提供数据，其目的是让代理回溯过去并从过去的结果中进行学习。

通过分析股票投资强化学习中必要的参与因素和作用，RLTrader 的架构主要有数据管理模块（data_manage,py)、主模块(main.py)、学习模块(learners.py)、可视化模块(visualizer.py)组成，其中主模块又分为环境模块(environment.py)、代理模块(agent.py)、神经网络模块组成(networks.py)

强化学习迄今为止主要用于游戏的人工智能。然而，强化学习的应用范围是无限的。在本文中，我们将了解如何将强化学习应用于股票投资。让我们看看如何将强化学习应用于股票，不需要很难的公式或术语。

文章目录什么是强化学习？（主要的强化学习概念）4.主要的强化学习概念4.1 基于模型与无模型(Model-based vs. Model-free)4.2 预测(prediction)和控制(control)4.3 On-policy vs. Off-policy4.4 主要的强化学习技术4.4.1 蒙特卡洛学习（(Monte-Carlo learning, MC）4.4.2 时间差分学习（temporal-difference learning, TD）什么是强化学习？（主要的强化学习概念）4.主要

贝尔曼方程表示上述状态价值函数与状态-行为价值函数之间的关系。贝尔曼方程有贝尔曼期望方程和贝尔曼最佳方程。

文章目录什么是强化学习（上）1. 强化学习（概述）2. 马尔可夫决策过程2.1 马尔可夫假设2.2 马尔可夫决策过程2.3 状态值函数(state-value function)2.4 状态-行动价值函数（action-valuefunction）什么是强化学习（上）1. 强化学习（概述）强化学习（Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。强化学习是除了监督学习和非监督学习之外的第三种基本的机器学习方法。与监督学习不

深度学习没有标准定义，但总的来说，深度学习是机器学习（ML）的一种，主要可以看作是人工神经网络（ANNs）的高级模型。这些技术被用作实现人工智能 (AI) 的工具