11、强化学习：时间差分、Q学习与多臂老虎机问题

强化学习：时间差分、Q学习与多臂老虎机问题

1. 时间差分与Q学习基础

在强化学习中，时间差分（Temporal Difference, TD）方法是一类重要的算法，Q学习就是其中的代表。通过绘制每个回合的长度和总奖励随时间的变化图，可以验证模型是否收敛。

以下是绘制回合长度随时间变化图的代码：

import matplotlib.pyplot as plt
plt.plot(length_episode)
plt.title('Episode length over time')
plt.xlabel('Episode')
plt.ylabel('Length')
plt.show()

以下是绘制回合奖励随时间变化图的代码：

plt.plot(total_reward_episode)
plt.title('Episode reward over time')
plt.xlabel('Episode')
plt.ylabel('Total reward')
plt.show()

从图中可以看出，大约200个回合后，最优策略基本确定。小的波动是由于ε - 贪心策略中的随机探索造成的。如果减小ε的值，波动会变小。

2. 使用Q学习解决出租车问题

出租车问题是一个流行的网格世界问题。在一个5 * 5的网格中，智能体扮演出租车司机，需要在一个位置接乘客，然后将乘客送到目的地。

2.1 环境介绍