【强化学习】—— Q-learning算法

Q-Learning算法

Q-learning 是一种无模型的强化学习算法，用于寻找最优策略以最大化累积奖励。它通过学习一个状态-动作值函数$Q(s,a)$，该函数表示在状态 ( s ) 下执行动作 ( a ) 的预期收益。

1.Q-learning 的基本概念

1. 状态（State）: 环境的当前状态。
2. 动作（Action）: 代理在当前状态下可以采取的动作。
3. 奖励（Reward）: 执行动作后获得的反馈，通常是一个数值。
4. 学习率（Learning Rate, $\alpha$）: 控制新获得的信息与旧信息的权重。
5. 折扣因子（Discount Factor, $\gamma$）: 权衡当前奖励和未来奖励的影响。

2.Q-learning 更新公式

Q-learning 的更新公式为：

$$Q(s,a)\leftarrow Q(s,a)+\alpha \left[r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })-Q(s,a)\right]$$

其中：

• $s^{\prime }$是执行动作$a$后的新状态。
• $r$是在状态$s$执行动作$a$时获得的奖励。
• ${\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })$是在新状态$s^{\prime }$下的最大$Q$值。

3.训练过程

1. 初始化: 将$Q$值表初始化为任意值（通常为0）。
2. 探索与利用: 在训练过程中，代理根据当前$Q$值选择动作，通常采用$\epsilon -greedy$策略，即以$\epsilon$的概率随机选择动作（探索），以$1-ϵ$的概率选择当前$Q$值最大的动作（利用）。
3. 更新$Q$值: 根据上面的更新公式更新$Q$值。
4. 重复: 不断执行步骤 2 和 3，直到收敛或达到预设的训练轮数。

4.优势与挑战

• 优势: Q-learning 能够在没有环境模型的情况下进行学习，适用于多种问题。
• 挑战: 在状态和动作空间较大时，$Q$ 值表会变得庞大，导致存储和计算成本高。可以使用深度$Q$网络（DQN）来处理大规模问题。