【强化学习】常用算法之一 “SARSA”

 

作者主页：爱笑的男孩。的博客_优快云博客-深度学习,活动,python领域博主爱笑的男孩。擅长深度学习,活动,python,等方面的知识,爱笑的男孩。关注算法,python,计算机视觉,图像处理,深度学习,pytorch,神经网络,opencv领域.https://blog.youkuaiyun.com/Code_and516?type=blog个人简介：打工人。

持续分享：机器学习、深度学习、python相关内容、日常BUG解决方法及Windows&Linux实践小技巧。

如发现文章有误，麻烦请指出，我会及时去纠正。有其他需要可以私信我或者发我邮箱:zhilong666@foxmail.com 

        强化学习是一种机器学习方法，通过与环境不断交互来学习最优行为策略。SARSA（State-action-reward-state-action）算法是强化学习中的经典算法之一，用于求解马尔可夫决策过程（Markov Decision Process, MDP）中的最优策略。本文将详细介绍SARSA算法的发展历程、算法原理、功能以及使用方法，并附带示例代码和运行结果。

本文将详细讲解强化学习常用算法之一“SARSA”

---

 

目录

一、简介

二、发展史

三、算法公式

1. SARSA算法公式

2. SARSA算法原理

四、算法功能

五、示例代码

六、总结

---

一、简介

        强化学习是一种通过学习与环境交互来最大化累积奖励的方法。在强化学习中，一个智能体在特定环境中根据当前状态选择一个动作，执行该动作后，环境将转移到新的状态，并且智能体将获得奖励。强化学习的目标是通过学习，使智能体能够选择一系列能够获取最大累积奖励的动作序列，即找到最优策略。SARSA算法是一种基于状态-动作值的强化学习算法，用来学习最优策略。

二、发展史

        SARSA算法最早由Richard Sutton和Andrew Barto在他们的著作《强化学习导论》中提出。SARSA是Q-learning算法的一种特例，也是一种基于值函数的算法。

        Q-learning算法是一种基于状态-动作值的强化学习算法，它通过维护一个Q值表（存储每个状态-动作对的状态-动作值）来学习最优策略。然而，Q-learning算法必须对Q值表进行离散化处理，因此只适用于状态空间和动作空间较小且离散的问题。为了解决这个问题，Richard Sutton等人提出了SARSA算法。

        SARSA算法是一种基于值函数和策略的算法，它不需要对状态空间和动作空间进行离散化处理，适用于连续状态和动作的问题。该算法使用一个Q值函数和一个策略函数来近似最优策略。

三、算法公式

1. SARSA算法公式

        SARSA算法的更新公式如下：

        其中，Q(s, a)表示在状态s下选择动作a的状态-动作值，r表示执行动作a后获得的即时奖励，α表示学习率，γ表示折扣因子，s’表示转移到的新状态，a’表示在新状态s’下选择的动作。 

2. SARSA算法原理

        SARSA算法的核心思想是通过不断更新状态-动作值函数Q(s, a)来学习最优策略。该算法按照以下步骤进行：

• 初始化状态-动作值函数Q(s, a)和策略函数π(a|s)的值。
• 在每个时间步t中，依据当前状态s和策略函数π选择一个动作a。
• 执行动作a，观察获得的即时奖励r和新状态s’。
• 根据新状态s’和策略函数π选择一个新动作a’。
• 更新状态-动作值函数Q(s, a)的值，使用SARSA更新公式。
• 将新状态s’和新动作a’作为下一步的状态s和动作a。
• 重复上述步骤，直到达到终止条件。

        通过不断迭代更新状态-动作值函