11、深度Q网络（DQN）全解析

深度Q网络（DQN）全解析

1. 动作选择策略

在深度Q网络（DQN）中，动作选择策略至关重要，它直接影响着智能体的学习效率和性能。常见的策略有ε - 贪心策略和玻尔兹曼策略。

1.1 玻尔兹曼策略

玻尔兹曼策略以玻尔兹曼概率分布命名，它试图通过使用相对Q值来选择动作，从而改进随机探索。与ε - 贪心策略不同，玻尔兹曼策略在探索和利用之间取得平衡的方式更为巧妙。

• 原理 ：通过对状态s下所有动作a的Q值应用softmax函数，构建一个概率分布。softmax函数由温度参数τ（τ ∈(0, ∞)）参数化，该参数控制着所得概率分布的均匀性或集中度。
  • 高值的τ会使分布更均匀，导致智能体的行为更随机。
  • 低值的τ会使分布更集中，智能体的行为更贪婪。
  • τ = 1时，退化为softmax函数。

相关公式如下：
[p_{softmax}(a | s) = \frac{e^{Q_{\pi}(s,a)}}{\sum_{a’} e^{Q_{\pi}(s,a’)}}]
[p_{boltzmann}(a | s) = \frac{e^{Q_{\pi}(s,a)/\tau}}{\sum_{a’} e^{Q_{\pi}(s,a’)/\tau}}]

• 示例 ：
  | 策略 | 输入x | 输出p(x) |
  | ---- | ---- | ---- |
  | Softmax |