强化学习系列(1) - Q-learning及其实现_强化学习俞凯电子版-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_43413198/article/details/106271866

本文介绍了一种使用Q-learning算法解决一维迷宫问题的方法，包括Q表的建立、ε-greedy策略的选择、环境反馈的获取以及Q表的更新策略。通过具体代码实例展示了算法的实现过程，并分享了最终的演示效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于目前已有针对这些参考资料的详细解释，这里作为快速的学习方法，这个系列只重点记忆一下每个方法的特征和代码实现，后期有其他感悟再不断完善。
　这里视频，和代码资源参考的是张沫凡RL系列，书籍参考的是Sutton的经典教材，翻译版：)

视频地址：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/

GitHub源：https://github.com/MorvanZhou/Reinforcement-learning-with-tensorflow

参考教材：《强化学习》第二版，Richard S. Sutton，andrew G. Barto著，俞凯等译。对应的英文教材是《Reinforcement Learning: An Introduction》。

Part 1. Q-learning
Part 2. 示例代码
 Part 3. 演示效果

Part 1. Q-learning

在这里插入图片描述
（1）建立Q表，表中条目指的是在当前状态下，动作价值的长期回报。
（2）设计动作选择策略：ε-greedy （S, A）
（3）设计状态生成和立即回报策略：（S_, R）
（4）设计Q表更新策略：通过缩小目标动作价值q-target和预估价值q-predict间的差距来进行值的更新。

Part 2. 示例代码

"""
场景：在一维的模拟世界里，Zoe 从起始点到达终点的路径探索。
"""

""" 
任务特征：
（1）建立Q 表
（2）生成（S, A，S_, R)序列
（3）EPISODES 游戏回合
"""
import numpy as np
import pandas as pd
import time
np.random.seed(2)

N_STATES = 6
ACTIONS = ['left', 'right']
EPSILON = 0.9
ALPHA = 0.1
GAMMA = 0.9
MAX_EPISODES = 13
FRESH_TIME = 0.3

# -----------------------------------------------
# 建立Q表 Q-table
def build_q_table(n_states, actions):
    table = pd.DataFrame(