4、生存算法及其在动物大脑模型中的应用

生存算法及其在动物大脑模型中的应用

1. 算法改进与生存算法的提出

前期的前瞻算法催生出了与原始简单火柴盒算法截然不同的新算法。这种改进后的火柴盒算法如今被用作学习型动物组织的模型，在此情境下被称为生存算法。

在过去30年里，强化学习（RL）领域取得了诸多进展。RL不仅在从游戏（如Silver等人在2016年的研究）到机器人技术（如Lungarella等人在2003年、Schaal和Schweighofer在2005年等的研究）等技术应用中得到了广泛应用，还被用作动物行为学习的模型。其中一些发展与本文提出的思想类似，例如将RL与“前瞻规划”预测相结合（Silver等人在2016年的研究）、所谓的离策略学习、分层方法（Botvinick等人在2009年的研究），以及处理不确定性的方法等。

2. 计算机科学方法的应用与大脑的区别

引入了一些计算机科学的基本思想和方法，这些方法有助于组织信息处理。同时还介绍了联想记忆的概念，它既属于计算机科学范畴，又与神经网络和神经科学密切相关。前瞻算法在计算机科学中也很有名，它属于树搜索算法的一类，可广泛用于解决问题。人工智能中的许多算法都有一个典型特征：虽然搜索问题通常在计算上非常困难，但如果搜索过程由一些启发式方法引导，就可以在合理的时间内解决。这里通过学习到的近似评估和搜索树中移动的适当排序（优先考虑好的移动）引入了启发式方法。这种启发式方法的使用使这些算法更适合神经生物学。

虽然大量运用了计算机科学方法，但这并不意味着大脑就像现代或20世纪80年代使用的计算机。计算机和大脑的主要区别在于，计算机可以编程以实现任意通用目的的信息处理，而大脑是生物体中的信息处理器官，其目的是将传入的感官输入映射到最适当