14、奖励学习：从人工智能到生物大脑的探索

奖励学习：从人工智能到生物大脑的探索

1. TD - Gammon与Deep Blue的对比

在人工智能的发展历程中，TD - Gammon和IBM的Deep Blue都是重要的里程碑。1997年，Deep Blue击败国际象棋世界冠军加里·卡斯帕罗夫，获得了广泛的关注。国际象棋的复杂度远超双陆棋，且卡斯帕罗夫当时处于世界冠军的地位。然而，从某些方面来看，TD - Gammon的成就更令人印象深刻。
- 学习方式 ：TD - Gammon通过模式识别自学下棋，其风格与人类下棋相似；而Deep Blue则依靠定制硬件进行暴力搜索，能比人类预见更多步棋。
- 创新性 ：TD - Gammon具有创造性，提出了人类前所未见的微妙策略和布局玩法，提升了人类的游戏水平。这一成就标志着人工智能历史上的一个分水岭，因为我们从一个自学掌握复杂策略的AI程序中学到了新的知识。

2. 大脑中的奖励学习

TD - Gammon的核心是时间差分学习算法，该算法的灵感来源于动物学习实验。几乎所有接受测试的物种，从蜜蜂到人类，都能进行联想学习，就像巴甫洛夫的狗一样。在巴甫洛夫的实验中，像铃声这样的感官刺激之后紧接着呈现食物，会引发狗的唾液分泌。经过多次配对后，仅铃声本身就能导致唾液分泌。不同物种在联想学习中有不同偏好的无条件刺激。
- 蜜蜂的联想学习 ：蜜蜂善于将花朵的气味、颜色和形状与花蜜奖励联系起来，并利用这种学习到的关联来寻找当季的类似花朵。
- 联想学习与反向传播学习的区别 ：反向传播学习需要对输出层的所有单元提供详细