【莫烦强化学习】视频笔记（三）2.SARSA学习实现走迷宫

第8节 SARSA学习实现走迷宫

---

之前一篇文章已经介绍过Q学习实现走迷宫的程序编写，对Q学习的整个过程也有了更加深刻的了解，文章链接：【莫烦强化学习】视频笔记（二）3.Q_Learning算法实现走迷宫
这里只介绍与Q学习不同的（需要修改的）代码部分，最后给出整个源代码，如有错误请各位批评指正，感谢~

---

8.1 SARSA-Learning类

之前介绍的Q-Learning类，有初始化、选择动作、学习更新参数、查看状态是否存在四个模块，其中初始化（全局参数）、选择动作、查看状态是否存在这几个函数部分的功能，Q学习与SARSA学习是没有区别的，区别在于学习更新参数这个模块。

    def learn(self, s, a, r, s_, a_):
        self.check_state_exit(s_)  # 查看状态s_是否存在，s_是在选择动作之后与环境交互获得的下一状态
        q_predict = self.q_table.loc[s, a]  # 当前状态s和动作a对应的Q值
        if s_ != 'terminal':  # 若下一步不是终态
            q_target = r + self.gamma * self.q_table.loc[s_, a_]  # 下一动作已经采样得到，直接使用s'与a'的Q值即可
        else:
            q_target = r;  # 否则直接为立即回报
        self.q_table.loc[s, a] += self.lr * (q_target - q_predict)  # 更新Q(s,a)

当然，也可以使用继承类的方式，继承之前写好的Qlearning类。

---

8.2 主循环

应当注意的是，这里的环境并不需要改变，环境是固定的，只能够对当前动作进行反馈。所以还是之前所介绍的maze_env环境代码，maze_env环境请参考莫烦的GITHUB。
主循环相比于Q学习有一些变化，在更新的附近，按照之前与Q学习的不同和SARSA学习介绍的阐述，伪代码如下：

def update():  # 更新主函数
    for episode in range(100):  # 玩游戏的局数
        observation = env.reset()  # 初始化环境
        action = RL.choose_action(str(observation))
        while True:
            env.render()  # 刷新图像
            observation_, reward, done = env.step(action)  # 动作与环境交互，获得下一状态、奖励值和是否为终态的反馈
            action_ = RL.choose_action(str(observation_))  # 直接通过ε-greedy获得下一个动作a'
            RL.learn(str(observation), action, reward, str(observation_), action_)  # 更新Q表
            observation = observation_  # 转移到下一状态
            action = action_  # 动作直接就是刚才的动作
            if done:
                break
    print('Game Over')  # 游戏结束
    env.destroy()  # 关闭窗口

---

8.3 全代码一览

主循环 main.py

from SARSAlearning import SARSALearning
from maze_env import Maze


def update():  # 更新主函数
    for episode in range(100):  # 玩游戏的局数
        observation = env.reset()  # 初始化环境
        action = RL.choose_action(str(observation))
        while True:
            env.render()  # 刷新图像
            observation_, reward, done = env.step(action)  # 动作与环境交互，获得下一状态、奖励值和是否为终态的反馈
            action_ = RL.choose_action(str(observation_