13、自适应学习系统中的内部模型与预期

自适应学习系统中的内部模型与预期

1. 引言

在过去几十年里，预期对行为的影响和引导作用越来越受到重视，它在适应性行为的协调和实现中起着重要作用。不同学科都明确认识到了预期的存在，如哲学长期以来一直在探讨推理、泛化和联想等方面。实验心理学也证实了动物和人类中存在预期行为过程。

虽然从理论上讲，在所有可构建的学习问题中，任何学习机制的表现可能相同，但心理学研究表明，在自然环境和自然问题中，以预期方式进行学习和行动能增加生存机会。因此，在设计智能人造动物（animats）时，纳入预期机制似乎是必要的。

这涉及到两个重要问题：一是如何将预期机制融入 animats，即预期行为需要哪些结构和过程；二是什么时候预期机制对 animats 真正有帮助，即哪些环境前提条件有利于预期行为。为了探讨这些问题，需要区分不同的预期机制。主要有以下四种：
1. 隐式预期机制 ：不进行实际预测，但行为结构以预期方式构建。
2. 收益预期机制 ：未来预测对行为的影响仅限于收益预测。
3. 感官预期机制 ：未来预测影响感官（预）处理。
4. 状态预期机制 ：对未来状态的预测直接影响当前行为决策。

这些区分将在部分可观察马尔可夫决策过程（POMDP）和基于 POMDP 结构的通用 animat 框架内进行介绍和讨论。

2. 心理学研究背景

为了说明在适应性行为研究中使用预期的合理性，下面从认知心理学的角度提供背景信息，展示心理学研究如何认识预期及其对行为的影响