8、奖励学习：从游戏到现实世界的智能探索

奖励学习：从游戏到现实世界的智能探索

1. 指数增长与游戏挑战

在中世纪的一个故事中，国际象棋发明者向统治者请求的麦粒数量呈现出指数增长。从棋盘第一格放 1 粒麦子，第二格 2 粒，第三格 4 粒，以此类推，到第 64 格时麦粒数约为 (2^{64})（约 (10^{19})），这表明指数增长的威力。在国际象棋和围棋等游戏中，棋盘位置数量的增长比故事中的麦粒增长更快。国际象棋每一步平均有 35 种可能走法，围棋的分支因子则高达 250，这使得指数增长更为迅速。

2. 游戏中的学习探索

2.1 早期游戏程序的突破

1959 年，Arthur Samuel 编写了一个能玩西洋跳棋的程序。该程序基于成本函数评估不同游戏位置的优劣，运行在使用真空管的 IBM 701 计算机上。其独特之处在于它能通过自我对弈进行学习，在发布当天还让 IBM 的股票大幅上涨。

2.2 西洋双陆棋的学习困境与突破

Gerald Tesauro 曾尝试用专家监督的方式训练神经网络玩西洋双陆棋，但这种方法的局限在于程序无法超越非世界冠军水平的专家。自我对弈虽可能带来提升，但当时面临“时间信用分配问题”，即游戏结束时一方获胜，难以确定众多走法中哪些是获胜的关键。

2.3 解决时间信用分配问题的算法

1988 年，Richard Sutton 发明了能解决时间信用分配问题的学习算法。强化学习网络与环境形成闭环交互，接收感官输入、做出决策并采取行动。它基于动物在不确定条件下探索环境选项并从结果中学习的原理，随着学习的推进，探索逐渐减少，最终纯粹利用学习过程中找到的最佳策略。

2.4