15、自适应学习系统中的内部模型与预期行为

自适应学习系统中的内部模型与预期行为

1. 循环神经网络与预期行为

在循环神经网络中，正确预测下一个输入有助于稳定智能体的行为。Tani的研究表明，使用预期会使行为出现两极分化：当一切预测正确时，行为处于非常稳定的模式；而当预测出错时，则进入混乱模式。

Tani在进一步的研究中采用了建构主义方法，将多个神经网络结合起来。该方法实现了一种注意力机制，可在跟随墙壁和物体识别之间切换。类似于一种胜者为王算法，Tani使用该算法实现了视觉注意力机制，将感官信息与模型预测相结合，对感官信息进行预处理，其分类输出会影响控制机器人运动的决策器。

另外，还提出了一种适合作为预测模型的分层结构神经网络。底层学习基本的感官 - 运动流，高层则学习预测底层网络的切换，从而对所遇到的环境进行更高级别的表征，但该系统中未展示出预期行为。

2. 多智能体问题中的预期

有一种将低级反应行为与高级决策相结合的方法，其中的智能体配备了预测模型，可预测其他类似智能体的行为。通过预期其他智能体的行为，可优化自身行为以实现合作。Davidsson的智能体是一种简单的预期智能体，它利用对其他智能体的（受限）预测模型来修改原本的反应式决策器，可归类为非学习状态预期智能体。

3. 预期系统讨论

目前对于预期系统的研究还需深入，以明确预期的效用。下面将从不同方面对预期方法进行讨论。
- 有模型与无模型的预期
- 模型构建智能体的优势 ：拥有内部预测模型的智能体具备规划能力，能在“头脑中”规划行为。规划不一定意味着智能体在模型中搜索从当前状态到目标