8、奖励学习：从游戏到现实世界的智能探索

奖励学习：从游戏到现实世界的智能探索

1. 指数增长与游戏复杂度

在中世纪的一个故事中，国际象棋的发明者向一位感激他的统治者提出了一个看似谦逊的请求：在棋盘的第一个方格放 1 粒小麦，第二个方格放 2 粒，第三个方格放 4 粒，依此类推，每个后续方格的麦粒数翻倍，直到棋盘的 64 个方格都放满。然而，实际上要满足这个请求，统治者不仅要拿出他王国里的所有小麦，还要拿出未来几个世纪全世界的所有小麦，因为第 64 个方格上的麦粒数将达到 2⁶⁴（约 10¹⁹），这就是“指数增长”。

在像国际象棋和围棋这样的游戏中，棋盘位置的数量增长甚至比故事中的麦粒数还要快。在国际象棋中，每一步平均有 35 种可能的走法；而在围棋中，分支因子为 250，这使得指数增长更加迅速。

2. 游戏与机器学习的开端

游戏具有规则明确、玩家对棋盘有完全了解且决策不像现实世界那样复杂但又具有一定挑战性的优势。1959 年，IBM 的机器学习先驱 Arthur Samuel 编写了一个可以玩跳棋的程序，该程序在宣布的当天就让 IBM 的股票大幅上涨。Samuel 的程序基于一个成本函数来评估不同游戏位置的优势，并且在 IBM 的第一台商用计算机 IBM 701 上运行，它的新颖之处在于可以通过自我对弈来学习。

3. 学习玩西洋双陆棋的挑战

Gerald Tesauro 曾致力于教神经网络玩西洋双陆棋。最初的方法是使用专家监督，通过反向传播来训练网络评估游戏位置和可能的走法，但这种方法的缺陷是程序永远无法超越非世界冠军水平的专家。而自我对弈虽然可能会有更好的效果，但当时面临着“时间信用分配问题”，即当一方获胜时，很难确定众多走法中哪些是导致获胜的原因。