强化学习(一)——经典算法

该博客主要介绍强化学习相关内容,涵盖任务与目标,单步强化学习的K - 摇臂赌博机,有限多步强化学习的有模型学习和免模型学习,无穷多步强化学习的值函数近似,以及模仿学习等模块。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

欢迎转载,请注明出处:https://blog.youkuaiyun.com/tayhh/article/details/81290137

主要从下面几个模块来介绍

1.任务与目标

2.单步强化学习:K-摇臂赌博机

3.有限多步强化学习:有模型学习

4.有限多步强化学习:免模型学习

5.无穷步强化学习:值函数近似

6.模仿学习

1.任务与目标

 2.单步强化学习:K-摇臂赌博机

3.有限多步强化学习:有模型学习

4.有限多步强化学习:免模型学习

5.无穷步强化学习:值函数近似

6.模仿学习 

### 经典的强化学习算法 #### Q-Learning Q-Learning 是种无模型强化学习算法,属于基于值函数的方法。该算法旨在学习从状态到行为映射的动作价值函数——即Q表。此表格记录了采取特定行动后的预期奖励。随着不断探索环境并更新这个表格,最终可以收敛至最优策略[^3]。 ```python import numpy as np def q_learning(env, num_episodes, alpha=0.1, gamma=0.99): action_size = env.action_space.n state_size = env.observation_space.n # 初始化Q-table全零矩阵 q_table = np.zeros((state_size, action_size)) for episode in range(num_episodes): state = env.reset() done = False while not done: # 选择动作 (ε-greedy policy) if np.random.rand() < epsilon: action = env.action_space.sample() else: action = np.argmax(q_table[state]) next_state, reward, done, _ = env.step(action) old_value = q_table[state, action] next_max = np.max(q_table[next_state]) new_value = (1 - alpha) * old_value + \ alpha * (reward + gamma * next_max) q_table[state, action] = new_value state = next_state return q_table ``` #### Deep Q-Networks (DQN) 为了克服传统 Q-learning 中遇到的状态空间爆炸问题,Google DeepMind 提出了 DQN 方法。这种方法引入神经网络作为功能近似器来估计动作的价值,并采用经验回放机制和固定 Q 值目标技术提高训练稳定性。 #### Policy Gradients 不同于基于值的方法,Policy Gradient 直接优化参数化的概率分布表示的策略πθ(a|s),而不是依赖于中间的价值评估。这类方法允许更灵活地定义复杂决策过程中的行为模式[^4]。 #### Proximal Policy Optimization (PPO) 作为种改进型策略梯度法,PPO 在保持性能的同时简化了实现难度。它通过对旧有政策施加约束条件防止新旧两版之间差异过大从而造成不稳定现象的发生;同时利用截断重要性采样减少方差影响提升样本效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值