7、深度解析强化学习中的策略与价值函数

深度解析强化学习中的策略与价值函数

1. 观测与状态的映射难题

在许多情况下，观测与实际状态之间可引入额外映射。也就是说，智能体需学习将动作映射到观测，再由观测映射到其无法直接观测的状态，这是一种双重映射。由于存在更多未知因素，解决此问题颇具挑战性。

在诸多应用里，工程师通过将更多先前时间步的信息输入当前时间步，使系统回归标准马尔可夫决策过程（MDP）。过往的知识能助力智能体明确动作在更长时间内如何改变感知到的状态。

需强调的是，这里关键在于对状态的观测，而非环境。智能体并不关心MDP接口背后发生的事，只要不改变接口，就可随意更改模拟环境。例如在库存管理中，改变客户购买行为仅会影响最优策略，不会改变智能体的学习方式。

2. 策略与价值函数基础

策略类似于一种战略。以足球比赛为例，虽无法确切知晓对方球队的行动（对方行动具有随机性），但可大致预估其动作并让己方球员相应行动。策略是从状态到潜在动作的映射，不同强化学习算法的主要差异就在于此映射的实现方式。

那么为何要构建这种映射，又如何评估不同策略呢？这就涉及到奖励的概念。

3. 折扣奖励机制

在诸多问题中，如库存管理和网站按钮优化，每一步的奖励较易理解。每个时间步，智能体可能获得奖励，也可能没有。经过多个时间步（如库存管理示例），智能体可能获得多个奖励。总体目标是最大化预期获得的总奖励。

回报 $G$ 是从当前步骤到最终时间步（或无穷）的总奖励。公式如下：
- 普通回报（式2 - 6）：$G \doteq r + r’ + \cdots + r_T$
- 折扣回报（式2 - 7）：$G \