【强化学习】—— Q-learning算法

Q-Learning算法

Q-learning 是一种无模型的强化学习算法,用于寻找最优策略以最大化累积奖励。它通过学习一个状态-动作值函数Q(s,a)Q(s, a)Q(s,a),该函数表示在状态 ( s ) 下执行动作 ( a ) 的预期收益。

1.Q-learning 的基本概念

  1. 状态(State): 环境的当前状态。
  2. 动作(Action): 代理在当前状态下可以采取的动作。
  3. 奖励(Reward): 执行动作后获得的反馈,通常是一个数值。
  4. 学习率(Learning Rate, ααα: 控制新获得的信息与旧信息的权重。
  5. 折扣因子(Discount Factor, γγγ: 权衡当前奖励和未来奖励的影响。

2.Q-learning 更新公式

Q-learning 的更新公式为:

Q(s,a)←Q(s,a)+α[r+γmax⁡a′Q(s′,a′)−Q(s,a)] Q(s,a)\leftarrow Q(s,a)+\alpha\left[r+\gamma\max_{a^{\prime}}Q(s^{\prime},a^{\prime})-Q(s,a)\right] Q(s,a)Q(s,a)+α[r+γamaxQ(s,a)Q(s,a)]

其中:

  • s′s's是执行动作aaa后的新状态。
  • rrr是在状态sss执行动作aaa时获得的奖励。
  • max⁡a′Q(s′,a′)\max_{a'} Q(s', a')maxaQ(s,a)是在新状态s′s's下的最大QQQ值。

3.训练过程

  1. 初始化: 将QQQ值表初始化为任意值(通常为0)。
  2. 探索与利用: 在训练过程中,代理根据当前QQQ值选择动作,通常采用ε−greedyε-greedyεgreedy策略,即以εεε的概率随机选择动作(探索),以1−ϵ1 - \epsilon1ϵ的概率选择当前QQQ值最大的动作(利用)。
  3. 更新QQQ: 根据上面的更新公式更新QQQ值。
  4. 重复: 不断执行步骤 2 和 3,直到收敛或达到预设的训练轮数。

4.优势与挑战

  • 优势: Q-learning 能够在没有环境模型的情况下进行学习,适用于多种问题。
  • 挑战: 在状态和动作空间较大时,QQQ 值表会变得庞大,导致存储和计算成本高。可以使用深度QQQ网络(DQN)来处理大规模问题。
### Q-learning算法详解 #### 原理 Q-learning属于基于值的强化学习方法,目标是在给定状态下找到使累积奖励最大化的行动策略。该算法通过迭代更新Q函数(即状态-动作价值函数),从而逐渐逼近最优解[^1]。 对于每一个可能的状态\(s\)和动作\(a\), Q-learning维护一个表格形式的价值评估表——Q-table,其中存储着对应于每一对(s,a)组合下的预期未来回报量级。随着时间推移以及更多经验积累,Q-learning会不断调整这个表格内的数值直到它们稳定下来表示长期平均收益的最佳预测[^2]。 更新规则如下所示: \[Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha[r_{t+1}+\gamma \max _{a'} Q(s_{t+1}, a')-Q(s_t, a_t)]\] 这里,\(\alpha\)代表学习率;\(r_{t+1}\)是即时奖励;而\(\gamma\)则用来折现未来的奖励影响程度。\(\max _{a'} Q(s_{t+1}, a')\)选取下一个时刻所能达到的最大期望回报作为当前决策依据的一部分[^3]。 ```python import numpy as np class QLearningAgent(object): def __init__(self, alpha=0.5, gamma=0.9, epsilon=0.1): self.q_table = {} self.alpha = alpha # 学习速率 self.gamma = gamma # 折扣因子 self.epsilon = epsilon # 探索概率 def choose_action(self, state, actions): """根据epsilon-greedy策略选择行为""" if np.random.rand() < self.epsilon: action = np.random.choice(actions) else: q_values_of_state = self.get_q_values(state) max_q_value = max(q_values_of_state.values()) best_actions = [action for action, value in zip( list(q_values_of_state.keys()), list(q_values_of_state.values())) if value==max_q_value] action = np.random.choice(best_actions) return action def get_q_values(self,state): """获取指定状态对应的q-value字典""" if str(state) not in self.q_table: self.q_table[str(state)]={} return self.q_table[str(state)] def learn(self, s, a, r, next_s,next_a=None): """执行一次学习过程""" old_q=self.get_q_values(s).get(a,0.) future_max_q=max([v for k,v in self.get_q_values(next_s).items()] or [None]) new_q=(1-self.alpha)*old_q+self.alpha*(r+(future_max_q if future_max_q is not None else 0)) self.get_q_values(s)[a]=new_q if __name__=='__main__': agent=QLearningAgent() ``` #### 应用场景 Q-learning已被成功应用于多种领域内复杂问题求解之中: - **游戏**: 如Atari视频游戏操作优化; - **机器人技术**: 自动驾驶车辆路径规划、机械臂抓取物体等任务自动化处理; - **资源分配**: 能源管理系统中电力调度方案设计; - **金融投资**: 组合构建与风险管理等领域也可见到其身影.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

花间相见

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值