28、机器学习中的决策理论与线性判别分析

机器学习中的决策理论与线性判别分析

1. 决策理论相关概念

1.1 策略对比

在简单的马尔可夫决策过程（MDP）中，对于具有 6 个状态和 2 个动作的情况，对比了 $\epsilon$-贪心策略（$\epsilon = 0.1$）和玻尔兹曼策略（$\tau = 1$），具体数据如下表：
| $\hat{R}(s, a1)$ | $\hat{R}(s, a2)$ | $\pi_{\epsilon}(a|s1)$ | $\pi_{\epsilon}(a|s2)$ | $\pi_{\tau}(a|s1)$ | $\pi_{\tau}(a|s2)$ |
| — | — | — | — | — | — |
| 1.00 | 9.00 | 0.05 | 0.95 | 0.00 | 1.00 |
| 4.00 | 6.00 | 0.05 | 0.95 | 0.12 | 0.88 |
| 4.90 | 5.10 | 0.05 | 0.95 | 0.45 | 0.55 |
| 5.05 | 4.95 | 0.95 | 0.05 | 0.53 | 0.48 |
| 7.00 | 3.00 | 0.95 | 0.05 | 0.98 | 0.02 |
| 8.00 | 2.00 | 0.95 | 0.05 | 1.00 | 0.00 |

1.2 探索奖励

探索奖励是一种简单但有时有效的启发式方法。其思路是在动作 $a$ 的奖励估计中添加一个奖励项 $b_t(s_t, a)$，然后据此选择贪心动作：$a_t = \arg\max_a \hat{R}_t(s_t, a) + b_t(s_t, a)$