机器学习中的近似动态规划与高效探索
1 近似动态规划基础
在很多实际问题中,我们常常需要对价值函数进行近似。价值函数的近似形式可以表示为:
$$Qv(s, r) = \sum_{i=1}^{k} r_i \phi_i(s)$$
其中,$\phi_i(s)$($i = 1, \cdots, k$)是预先定义的基函数,用于刻画状态空间,$r$ 是应用于这些基函数的一组权重。这种表示方法将问题从具有 $|S|$ 维的问题简化为具有 $|k|$ 维的问题。
这里存在两个关键问题:
- 如何确定选择哪一类基函数(由 $\phi$ 决定)。
- 如何在选定的基函数类中找到最佳的近似价值函数(即 $r$ 的最佳值)。
第一个问题目前仍未得到很好的解决。对于第二个问题,主要有两种方法:
- 迭代改进法:通过模拟决策过程的样本路径来迭代改进近似效果。
- 线性规划法:将价值函数限制为近似形式,使用线性规划求解。这样可以将原问题中的变量数量减少到合理的范围(等于所选基函数的数量),然后通过列生成法确定最优的权重集合 $r$。
然而,近似动态规划面临的一个重大挑战是难以确定近似价值函数与真实价值函数的接近程度。也就是说,若直接求解原始的马尔可夫决策过程(MDP),可能会累积多少额外的奖励,这仍是一个重要的难题。
2 强化学习中的高效探索
2.1 基本定义与动机
在一个环境中,智能体进行观察、采取行动并获得相应的奖励。基于这些交互历史,智能体需要做出下一个行动选择,以最大化长期奖励总和。为了实现这一目标,智能体可能会采取次优行动来收集信息,以便后续采取最优或
订阅专栏 解锁全文
32



被折叠的 条评论
为什么被折叠?



