14、自适应学习系统中的内部模型与预期

自适应学习系统中的内部模型与预期

1 预期行为的分类

在自适应学习系统中，预期行为可分为以下四类：
- 隐式预期 ：这类动画体不做任何影响其行为决策的未来预测。感官输入（可能结合内部状态信息）直接映射到动作决策，其预测模型为空或不影响行为决策。然而，其行为程序中包含隐式预期。例如，自然界中生物的遗传密码就包含隐式预期，进化是将隐式预期印刻在基因中的学习机制。同样，设计良好的隐式预期动画体，其算法、传感器和执行器的结构与交互中也包含隐式预期信息，设计者在其控制器中考虑了环境挑战和行为后果的隐式预期。
- 收益预期 ：动画体通过考虑不同动作的可能收益预测来决定执行哪个动作。预测估计每个可能动作的收益，并相应地影响动作决策，状态预测不影响动作决策。直接（无模型）强化学习是收益预期的一个典型例子，如Q学习，它学习马尔可夫决策过程（MDP）中所有可能状态 - 动作组合的效用值，且与策略无关，只要行为策略确保所有可能的状态 - 动作转换在长期内被无限次访问，就能保证生成最优策略。
- 感官预期 ：预测不受限制，但不直接影响动画体的行为，而是影响感官处理。动画体需要使用其环境的（不一定完整的）预测模型来形成预测，未来状态和刺激的预测会影响刺激处理。例如，预期的感官输入可能比意外输入处理得更快，对具有特定属性（如可能的威胁）的意外输入可能反应更快。
- 状态预期 ：动画体的行为受明确的未来状态表示影响。与感官预期一样，需要一个预测模型，但状态预期直接影响当前的行为决策。最简单的显式预期动画体是被提供了其环境的显式预测模型的动画体，可通过显式规划机制（如各