21、强化学习在交易策略中的应用与实践

强化学习在交易策略中的应用与实践

1. 强化学习基础概念

1.1 马尔可夫决策过程（MDP）与有限MDP

若马尔可夫决策过程（MDP）的状态和动作空间是有限的，则称其为有限马尔可夫决策过程。基于动态规划的MDP示例属于基于模型的算法，这类算法需要示例奖励和转移概率。

1.2 强化学习模型分类

强化学习可根据每一步的奖励和概率是否易于获取，分为基于模型和无模型的算法。
- 基于模型的算法 ：试图理解环境并创建模型来表示它。当强化学习问题包含明确定义的转移概率以及有限数量的状态和动作时，可将其构建为有限MDP，使用动态规划（DP）计算精确解。
- 无模型的算法 ：仅从实际经验中最大化预期奖励，无需模型或先验知识。在对模型信息了解不完整时使用。无模型算法又可进一步分为基于价值和基于策略的方法。
- 基于价值的算法 ：通过在状态中选择最佳动作来学习状态或Q值，通常基于时间差分学习。例如Q - learning和SARSA。
- 基于策略的算法 ：直接学习将状态映射到动作的最优策略（或尝试逼近最优策略），如策略梯度。

1.3 常见无模型算法

1.3.1 Q - learning

Q - learning是时间差分学习的一种变体。它基于Q值（或动作价值）函数评估采取哪个动作，该函数决定处于某一状态并在该状态下采取某一动作的价值。其步骤如下：
1. 在时间步t，从状态st开始，根据Q值选择动作at =