24、深度强化学习网络性能提升与非平稳数据流回归分析

深度强化学习网络性能提升与非平稳数据流回归分析

1. 深度强化学习相关算法

在深度强化学习领域，Q - Learning算法和深度Q网络（Deep Q - Network，DQN）是重要的组成部分。

1.1 Q - Learning算法

Q - Learning算法的核心是学习一个动作价值函数，该函数能给出在给定状态下采取特定动作并遵循最优策略后的预期效用。智能体最多有2000个回合来学习从初始状态到目标状态的最短路径，每个回合有99步用于在环境中移动以寻找目标，并持续调整深度神经网络的权重值。一个回合会在智能体用完所有步数或到达目标状态时结束。

其具体步骤如下：
1. 从当前所在状态中选择一个动作，此动作可以是截至当前计算出的最佳动作，也可以是随机动作，这一决策基于ϵ - 贪婪策略（ϵ = 0.1），该策略在探索（采取随机动作）和利用（采取当前最佳动作）之间保持平衡。
2. 选定动作后，利用R矩阵提取智能体接下来所处的状态及其相关奖励（中性、正或负）。
3. 通过将下一个状态输入整个神经网络，生成与该状态相关的Q值。
4. 计算最大Q值，用于基本的Q - Learning公式：$Q(s, a) = r + γ(max(Q(s′, a′)))$，其中γ为折扣因子，r为奖励。
5. 对于每个状态，选择强化最多的值（对应最佳动作）来确定智能体接下来所处的状态。最终，算法会替换所有随机初始化的权重值，这些值将代表从任何状态到目标状态的最短路径。

1.2 深度Q网络与特征提取

深度Q网络将每个状态编码为唯一的1×16向量，并在输出层产生一个包含4个值的向量，每个值对应一个