强化学习学习总结（二）——QLearning算法更新和思维决策

最新推荐文章于 2025-07-15 17:15:57 发布
最新推荐文章于 2025-07-15 17:15:57 发布
阅读量9.5k 收藏 50
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 强化学习 文章标签： QLearning 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raoodududu/article/details/82909899
本文深入探讨QLearning算法，解析其更新思维，通过渐进方式减少估计误差。内容包括QLearning算法的基本思维，更新迭代过程，以及如何基于贪婪率和学习率进行思维决策，构建和实现Q表。

QLearning

       QLearning并没有直接将这个Q值（q_target是估计值）直接赋予新的Q，而是采用渐进的方式类似梯度下降，朝target迈近一小步，取决于α,这就能够减少估计误差造成的影响。类似随机梯度下降，最后可以收敛到最优的Q值。 

一、QLearning算法思维

 

二、QLearning算法更新思维

 

1.导入模块

from maze_env import Maze                #环境模块
from RL_brain import QLearningTable      #思考模块

2.更新迭代


                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
新学期VIP享超值加赠

                          
                        

                      
            

        


    



                



	

		

			

				
					
【人工智能机器学习基础篇】——深入详解强化学习之常用算法Q-Learning与策略梯度，掌握智能体与环境的交互机制

				
			

			

				

					编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
				

				

					01-01
					
					1587
					
				

			

		

		

			
				
【人工智能机器学习基础篇】——深入详解强化学习之常用算法Q-Learning与策略梯度，掌握智能体与环境的交互机制

			
		

	



                

            
              



	

		

			

				
					
深度Qlearning算法的改进与变体

				
			

			

				

					AI架构师小马
				

				

					04-07
					
					253
					
				

			

		

		

			
				
强化学习是机器学习的一个重要分支,它通过与环境的交互来学习最优的决策策略。其中,Q-learning是强化学习中最为经典和广泛使用的算法之一。随着深度学习技术的发展,将深度神经网络与Q-learning算法相结合,形成了深度Q-learning算法,大大提高了强化学习在复杂环境中的性能。然而,原始的深度Q-learning算法也存在一些局限性和问题,如训练不稳定、样本效率低、难以收敛等。为了进一步提高深度Q-learning的性能,研究人员提出了许多改进和变体算法。

			
		

	



              


  
              

                


	

		

			

				
					
强化学习的基础总结（一）

				
			

			

				

					Bing's Blog
				

				

					06-23
					
					1936
					
				

			

		

		

			
				
强化学习的基础总结（一）@(Machine Learning)机器学习从大类上来分，可以有三种：
监督学习
无监督学习
强化学习
现在关注强化学习。强化学习泛泛来说，是一种决策方法。Q：强化学习的与众不同之处是什么？ 
A：有以下几点。 
+ 无监督。只有奖励信号。而不是监督学习中的标记空间。 
+ 延迟反馈。奖励系统针对的是行为(action),是一种对动态的评价。 
+ 时间很重要。强化学习是用

			
		

	





	

		

			

				
					
【Reinforcement Learning】强化学习基础概述

					
最新发布

				
			

			

				

					长相忆兮长相忆的专栏
				

				

					07-15
					
					1218
					
				

			

		

		

			
				
Reinforcement Learning是机器学习的重要分支，其核心在于‌智能体（Agent）通过与环境的动态交互学习最优决策策略‌，以最大化长期累积奖励。

			
		

	



		

			
		



	

		

			

				
					
Q-Learning更新公式

				
			

			

				

					02-28
				

			

		

		

			
				
强化学习的参数更新公式。Q-Learning更新公式：
Qnew(st-1,at-1)=(1-α)‧Q(st-1,at-1)+α(rt+γ‧maxQ(st,a))
其中maxQ(st,a)用于查找st 下期望回报最好的行为。α∈(0,1]，γ∈[0,1]，rt 是t时刻的奖赏。

			
		

	





	

		

			

				
					
强化学习心得体会

				
			

			

				

					chenchen1217的博客
				

				

					06-26
					
					2333
					
				

			

		

		

			
				
强化学习心得体会
非常有幸在今年6月16日至6月23日参加百度举办的强化学习7日打卡营。由NeurIPS全球顶级冠军团队授课，带你从零实践强化学习。课程是在bilibili上直播授课，科老师和班主任都是人美声甜有实力。接下来进入正题，下面是我上这门课的一些体会和感悟吧。
强化学习
强化学习是机器学习的方法之一，强化学习主要强调基于环境而行动，与环境交互的过程中通过学习策略的达到回报最大化或实现特定目标的问题。
学习到的算法
在本次培训中，我们一类强化学习算法，主要包括基于模型和无模型的两类算法。基于模型的算

			
		

	





	

		

			

				
					
学习心得-强化学习【贝尔曼公式】

				
			

			

				

					weixin_45739351的博客
				

				

					03-12
					
					1253
					
				

			

		

		

			
				
强化学习基础笔记

			
		

	





	

		

			

				
					
强化学习之Q-learning算法

				
			

			

				

					m0_64087341的博客
				

				

					10-15
					
					1306
					
				

			

		

		

			
				
强化学习之Q-learning算法

			
		

	





	

		

			

				
					
matlab实现强化学习Q-Learning算法迷宫路径规划-Q-Learning-强化学习-迷宫路径规划-迷宫逃脱-matlab

				
			

			

				

					03-03
				

			

		

		

			
				
文中首先介绍Q-Learning算法的基本原理——它通过不断的试错更新Q表来逼近最优策略，从而指导智能体在动态环境中作出有效决策。对于迷宫环境，作者解释了如何建立仿真模型及具体参数配置，其中包括定义环境规则、...

			
		

	





	

		

			

				
					
离线强化学习——CQL（Conservative Q-Learning）算法

				
			

			

				

					Rhett_Butler0922的博客
				

				

					04-25
					
					1103
					
				

			

		

		

			
				
强化学习（RL）是一种机器学习范式，旨在让**智能体（Agent）通过与环境（Environment）**交互，学习如何采取行动以最大化长期累积奖励（Reward）。试错学习：智能体通过尝试不同行动，观察结果，逐步优化策略。延迟奖励：奖励可能不是立即获得，而是基于长期表现。动态交互：智能体与环境持续交互，行动会影响环境状态。例如，训练一个智能体玩电子游戏（如Atari），智能体观察游戏屏幕（状态），选择动作（如“左移”或“跳跃”），环境返回新屏幕和奖励（如得分）。

			
		

	





	

		

			

				
					
强化学习七日心得

				
			

			

				

					Cancer_Mo的博客
				

				

					06-25
					
					573
					
				

			

		

		

			
				
强化学习七日心得
参加了飞桨深度学习学院的”强化学习7日打卡营-世界冠军带你从零实践“课程，接触到了强化学习这个领域。过程中，科科老师带我们学习了强化学习的思想，并使用PARL框架做了若干实践。今天简单的总（结）结（课）一（任）下（务）。
课程整体框架
课程由浅入深，循序渐进。
1.强化学习（RL）初印象
2.基于表格型方法求解RL
3基于神经网络方法求解RL
4.基于策略梯度求解RL
5.连续动作空间上求解RL。
从逻辑上，递进地讲述了针对四个强化学习问题的解决：离散状态空间、连续状态空间、随机性策略、连

			
		

	





	

		

			

				
					
寻宝 Q-learning改版，显示Q表更新，注解版

				
			

			

				

					蓝镜炒饭的博客
				

				

					04-30
					
					467
					
				

			

		

		

			
				
import numpy as np
import pandas as pd
import time
#
np.random.seed(2)# 再生成一个随机数种子

N_STATES = 6 # 状态数
ACTIONS = ["left", "right"] # 动作
EPCILON = 0.9# 贪婪度
ALPHA = 0.1# 学习率
GAMMA = 0.9# 奖励递减值
MAX_EPISODE = 13# 最大回合数
FRESH_TIME = 0.1# 更新间隔


def build_q_tabl

			
		

	





	

		

			

				
					
强化学习&蒙特卡洛3.6 | 通过episode更新Q表

				
			

			

				

					ASKCOS博客
				

				

					03-06
					
					730
					
				

			

		

		

			
				
经过每一个episode，我们可以对Q表中的动作状态值进行更新，采取的公式如下

假设当前有4个相同状态和动作的episode，计算Q值得过程如下

完善我们公式后，发现更新的差值就是过去得到回报与当前回报相减，然后再乘以总体episode数量的倒数

但是随着episode的增多，导致分母N变得很大，变化会变得越来越小，导致变化可以忽略不计

我们将除以平均值得做法替换为步长α，这样可以确保稍后获得的回报比之前更收到重视，因为后面的时间步对估算动作值更重要

α在0到1之间的值，0代表与之前的Q值完全一样

			
		

	





	

		

			

				
					
【强化学习】强化学习分类

					
热门推荐

				
			

			

				

					shura的技术空间
				

				

					06-21
					
					1万+
					
				

			

		

		

			
				

  https://github.com/tigerneil/deep-reinforcement-learning-family 
  https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/1-1-B-RL-methods/ 
  ——-主要引用morvan老师的教学视频


【强化学习】强...

			
		

	





	

		

			

				
					
David Silver深度强化学习系列更新目录【2019-07-29持续更新】

				
			

			

				

					不负如来不负卿
				

				

					07-29
					
					854
					
				

			

		

		

			
				
David Silver深度强化学习系列更新目录
第一课



			
		

	





	

		

			

				
					
强化学习4：回合更新价值迭代

				
			

			

				

					十八子的博客
				

				

					11-14
					
					870
					
				

			

		

		

			
				
文章目录回合更新价值迭代同策策略评估回合更新起始探索柔性策略(ϵ−soft)(\epsilon-soft)(ϵ−soft)异策重要性采样策略评估回合更新求解最优策略
回合更新价值迭代

有模型


动力函数 p(s’,r∣s,a)p(s’,r | s, a)p(s’,r∣s,a)
方案：解Bellman期望方程/最优方程，方程求解 / 线性规划 / 动态规划
算法：因为有模型（动力函数），可以策略迭代（Bellman期望方程），也可以价值迭代（Bellman最优方程）


无模型


幕序列 (S0,A0,

			
		

	





	

		

			

				
					
【机器学习】 强化学习

				
			

			

				

					qq_36643449的博客
				

				

					04-02
					
					944
					
				

			

		

		

			
				
强化学习实际上是找一个从观测到动作的最优映射函数，输入是外界观测，目标是奖励最大化。
强化学习的主要特点：

学习过程中没有监督信号，只要奖励(reward)
其反馈(feedback)是延迟的而非瞬间的
强化学习过程与时间序列相关，是一个序贯决策的过程
agent采取的动作(action)会影响到它所接受的序列数据

强化学习算法分类：

model-free RL(不理解环境)：不具备环境的先...

			
		

	





	

		

			

				
					
强化学习之Q-learning

				
			

			

				

					mengdeer_Q的博客
				

				

					02-24
					
					1367
					
				

			

		

		

			
				
以一个例子简单介绍了Q-learing的方法

			
		

	





	

		

			

				
					
【强化学习】在强化学习中，为什么需要让策略网络和目标网络延迟更新？请详细进行解释

				
			

			

				

					wq6qeg88的博客
				

				

					08-10
					
					1819
					
				

			

		

		

			
				
在强化学习中，策略网络和目标网络的延迟更新是为了保持训练过程的稳定性和提高算法的收敛性。通过引入延迟更新，特别是对于目标网络的更新，能够有效减少由于网络自身剧烈变化而带来的不稳定性，并提高整体训练的稳定性。具体来说，延迟更新可以减少目标漂移，提高训练的稳定性防止策略的过度估计，并改善探索与利用的平衡。这种机制不仅在理论上为深度强化学习的稳定性提供了保障，而且在实践中也广泛应用于各种强化学习算法，如DQN、DDPG、TD3等，成为深度强化学习成功的关键因素之一。%5Cgamma。

			
		

	





	

		

			

				
					
Q学习与SARSA算法强化学习实战教程

				
			

			

				

					
				

			

		

		

			
				
 SARSA也是一种强化学习算法，与Q学习类似，但其更新策略是基于当前状态、动作、奖励和下一个状态的下一个动作来更新Q值。SARSA是在线策略（on-policy）算法，意味着学习策略和行为策略是相同的。SARSA算法考虑了...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值