10、迈向预期学习的四因素理论

迈向预期学习的四因素理论

1. 引言

在探讨动画体（animat）行为生成和学习时，核心问题是动画体应在何种条件下、出于何种目的选择要执行的动作。动画体行为的生成具有很强的预期或预测性，学习以及动物学习模型应充分利用动画体结构中固有的预期和预测特性。能预期未来事件并及时做出反应，一直被视为智能的关键属性。

近年来，越来越多的研究者强调预期在动物学习和行为模型中的重要性。Butz等人将预期学习和行为分为隐式预期、回报预期、感官预期和状态预期四种主要形式，本文重点关注状态预期。

采用预期立场能赋予动画体多种重要属性：
1. 确定当前状态之后可能出现的未来情况，提前预判有利或有害的情形。
2. 确定动画体行动的可能结果，从而制定行动链或计划以实现期望结果。
3. 在不考虑特定目标或任务奖励的情况下，对每个行动在当前环境中的有效性进行排序。
4. 通过检测未预测到的事件，确定何时进行结构学习。

当动画体面临目标时，动态期望模型（Dynamic Expectancy Model，DEM）可通过构建动态策略图（Dynamic Policy Map，DPM），并将其与目标和当前情况相交，来确定满足目标的适当行动。

接下来将回顾四种成熟的动物学习理论，分析相关数据以生成新的统一预测原则，并探讨这些原则对动态期望模型发展的影响。

2. 预测与行为理论

行为生成可通过感知条件（Sign - stimuli，S）与反应、行动或行为（R）生成器的直接或间接相互作用来描述。下面介绍四种与动物行为和学习相关的主要理论立场，并关注其中的预测能力相关问题。

2.1 行