2、强化学习中的奖励与状态挑战

强化学习中的奖励与状态挑战

1. 强化学习中的奖励挑战

在强化学习里，奖励机制的设定面临着诸多挑战，这些挑战直接影响着智能体的学习和决策。

1.1 概率性/不确定性奖励

强化学习的一个复杂之处在于奖励的概率性或不确定性。以学习为例，假设一门课程有 10 个章节，考试题目仅来自其中 6 个章节，但我们不清楚具体是哪 6 个章节，也不知道每个章节的题目权重。在 3 小时的时间里，只能学习 1 个章节。即便认为未来的奖励（好成绩）值得现在学习，但我们不确定学习的章节是否会有考题，也不清楚该章节题目在考试中的权重。所以，现在学习获得的奖励不仅会在未来实现，还可能具有概率性或不确定性。

1.2 奖励归因于过去的不同行动

奖励归因是另一个重要的考量因素。继续以上述学习和考试的例子来说，假设从 10 个章节对应的 10 个时间段中，随机选择 6 个时间段学习任意一个章节，其余 4 个时间段去玩。最终考试成绩为 50%，在学习的 6 个章节中，只有 4 个章节有考题，权重分别为 5%、8%、12% 和 15%，另外 50% 的题目来自未学习的 4 个章节。在回答的题目（满分 50 分）中，获得了 40 分（即占满分 100 分的 40%）。

对于这 40% 的奖励归因，有以下几种解决方案：
- 平均分配 ：将奖励平均分配到 6 个学习时间段。
- 按题目权重分配 ：每个时间段获得的奖励与该时间段学习章节的题目权重相同。
- 按实际得分分配 ：每个时间段获得的奖励为该时间段学习章节的实际得