强化学习中的Q值和V值学习笔记

已于 2022-05-16 16:31:06 修改
阅读量2.9k 收藏 17
点赞数 5
分类专栏： 强化学习笔记 文章标签： 学习
于 2022-05-16 16:27:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ITjunjunstudy/article/details/124802168
版权

Q值和V值

V值代表的是当前这个状态所能获得的奖励，之前一直不理解，今天读了一篇文章搞懂了，什么是V值呢，大白话来讲就是从当前状态出发，会面临多个动作的选择，我们每选一个动作，会进入新的状态，这样就好比一棵超多分支的多叉树，我们需要从当前这个状态出发，把每一条路都走一遍，然后记走这一条路获得的奖励，然后求所有路的均值。这样一来，如果V(s)的值非常小，我们就知道到了这个状态以后很难获得高奖励，所以就避免进入这个状态，或者最好进入比这个V值更大的状态。但是，这个V值是跟策略有关的，例如不同的策略下，选择不同动作的概率不一样，我们求平均值的时候就得算加权平均，这样V值就会受策略的影响了。

Q值和V值很类似，都是把所有可能走一遍，求获得的奖励的加权平均值。Q值是在当前状态下选取某个动作可能获得的奖励。Q值和策略没有直接相关，而是与环境的转移概率有关。
image-20220516155943437

V值和Q值的关系：一个状态的V值，就是这个状态下所有动作的Q值，在当前策略下的期望。

image-20220516154939633
V值 = 累加（求期望） {每个动作的概率 * 该动作Q值 }

选择了一个动作之后，会进入新的状态，并获得奖励。Q值的获得和进入的下一个状态有关，所以Q值可以通过V来计算

image-20220516155943437
Q值=当前动作获得的奖励+折扣率*期望（累加）{状态转移概率*下一状态V值} 图片标反了

但我们平时更多用到的是状态到状态，也就是V到V的计算。

image-20220516160145391
将Q值的计算替代到V值的计算中即可
其实就是贝尔曼公式嘛，这下总算看明白了。

这个知识点是从知乎看明白的，把原地址贴上来，欢迎交流！

如何理解强化学习中的Q值和V值？ - 张斯俊的文章 - 知乎
https://zhuanlan.zhihu.com/p/109498587

STM32F4——定时器原理及应用（中断、输入捕获、PWM输出）
热门推荐
任长江
08-30 1万+
一、简介：     不同的STM32系列有不同数量的定时器，针对现在学习的STM32F40x系列总共有14个定时器，针对这14个定时器可以将其分为3类，高级定时器、通用定时器和基本定时器，三种定时器大同小异，下边会针对通用定时器来介绍定时器的原理和应用。对于通用定时器根据位数和计数方式的不同又可以分为3类，相关分类的图表如下： 二、应用：     1、更新：计数器的上溢或下溢。2、事件触
STM32中PWM外设的原理，使用与配置
入山砍柴郎
06-05 2167
首先STM32中PWM功能是使用计数器实现的，与51里相似，但也有区别。51使用计数器的中断调节占空比，占用MCU的时间。而STM32使用硬件实现PWM的功能，故PWM属于外设功能。(计数器的向上计数，向下计数，中央对齐模式不介绍了)。 PWM主要对2个寄存器的配置。TIMx_ARR = T (设置周期T，频率的设置)    TIMx_CCRx = t(设置占空比，这个一条库函数就行了) *
PWM介绍（STM32库函数）
01-06
简介 PWM是 Pulse Width Modulation的缩写。 它是利用微处理器的数字输出来对模拟电路进行控制的一种技术。 可应用与电机控制，测量，通信，开关电源等 使用STM32库函数输出PWM详解 STM32f103ZET6 使用正点原子提供的底层库，仅从库函数上面作理解 先看定时器的使能 typedef struct { uint16_t TIM_Prescaler; /*!< 指定用于分割定时时钟的预分频器值。 此参数可以是介于0x0000和0xFFFF之间的数字 */ uint
STM32PWM.rar_PI_PI 调节_STM32F103_开关电源_电源
07-15
STM32F103ZET6 PI调节的PWM 开关电源
一文搞懂脉冲宽度调试（PWM）及STM32HAL库实现PWM
最新发布
指尖动听知识库
04-24 589
PWM，即脉冲宽度调制（Pulse Width Modulation），是一种利用数字信号来控制模拟电路的有效技术。其基本原理是通过改变一系列固定频率脉冲的宽度，从而调节这些脉冲的占空比（高电平时间与整个周期时间的比例），以此来模拟连续的模拟信号。在PWM中，尽管脉冲本身是矩形波，但通过调整占空比，接收PWM信号的负载（如电机、LED等）所感受到的有效电压或功率，可以被模拟成期望的连续变化值。
【STM32】详解PWM的概念和原理
皮皮不调皮的博客
12-06 1万+
PWM的概念和原理
一文搞懂脉冲宽度调试（PWM）
小超电子笔记
05-24 1万+
PWM，即脉冲宽度调制（Pulse Width Modulation），是一种利用数字信号来控制模拟电路的有效技术。其基本原理是通过改变一系列固定频率脉冲的宽度，从而调节这些脉冲的占空比（高电平时间与整个周期时间的比例），以此来模拟连续的模拟信号。在PWM中，尽管脉冲本身是矩形波，但通过调整占空比，接收PWM信号的负载（如电机、LED等）所感受到的有效电压或功率，可以被模拟成期望的连续变化值。
【STM32】PWM
qq_58204972的博客
09-23 5058
定义PWM（Pulse Width Modulation）， 脉冲宽度调制。脉冲： 方波， 频率(freq)宽度： 高电平的宽度， 占空比(duty)​ 详细波形如下图。用途控制灯光的亮度（手机/平板/显示器背光灯）电机的转速灯光的控制细节频率要大于 25Hz， 灯光的亮度的变化是跟着占空比而变化， 占空比越大， 灯光越暗；占空比越小， 灯光越亮。STM32工作过程​ CCR1:捕获比较(值)寄存器（x=1,2,3,4):设置比较值。
STM32第十课：PWM波
小白橘颂的博客
06-27 2914
1.先开时钟配置引脚。2.配置定时器的分频器，装载值和计数器，中央对齐模式和计数方向。3.接下来配置pwm的部分。先配置默认比较值，一般置为0，使占空比为0，不让引脚有效。4.配置输出模式（pwm）以及有效的电平是高还是低。5.开启通道，使pwm波通过引脚传输。6.定时器通道选择一下比较模式，为防止突变，再设置一下定时器和装载值的缓冲，最后使能计数器。
PWM原理以及如何使用STM32输出PWM(持续更新中...)
weixin_45717224的博客
10-07 9426
2.系统时钟SYSCLK、AHB总线时钟以及USB模块时钟、I2S模块时钟、RTC模块时钟、独立“看门狗”时钟等，这里的AHB总线时钟还会分支为APB1总线时钟和APB2总线时钟，可以为更多的其他外设提供时钟。答案是并不会，我们的目的是要用STM32去实现PWM，而STM32要实现PWM的核心在于。直接来看一个演示，如同下面的GIF图1.1所示，随着PWM Duty Cycle的改变，图片右边的LED灯的。1.时钟的来源（时钟源），包括内部高速RC时钟、外部高速时钟、内部低速RC时钟、外部低速时钟等。
STM32PWM知识详解
zhuxinmingde的博客
07-19 8530
本人在学习STM32过程中发现网上的PWM相关知识比较散乱，对于小白或新手而言会有很多不了解的地方。因此，这里结合自己的学习过程，将PWM这一版块的知识整合，如有错误之处，请批评指正！
STM32——通用定时器
07-17
STM32系列微控制器提供多种定时器功能，这在实现诸如时间延迟、定时中断、PWM信号生成等任务中起着至关重要的作用。 首先，根据STM32的官方文档，我们可以得知其定时器的种类和数量。STM32系列包含2个高级控制器...
[stm32]——定时器与PWM的LED控制
2201_75518371的博客
05-31 1722
定时器就是用来定时的机器，是存在于STM32单片机中的一个外设。其本质就是计数器，只不过 计数器 记录的是STM32的外部情况，所接收的也是外部脉冲，而 定时器 则是由STM32自身提供的一个非常稳定的计数器，这个稳定的计数器就是STM32上连接的晶振部件。STM32的众多定时器中我们使用最多的是高级定时器和通用定时器，而高级定时器一般也是用作通用定时器的功能，下面我们就以通用定时器为例进行讲解，其功能和特点包括：位于低速的APB1总线上(APB1)
STM32——舵机(机械臂、云台)控制指定角度（平滑运动控制、定时器PWM)
m0_72020765的博客
08-16 3384
用于控制多个舵机的角度调整，其中包含舵机的初始化、设置单个/多个舵机角度，以及逐渐调整多个舵机角度的功能。函数通过步进方式实现平滑的角度变化，适用于需要平滑控制多个舵机的场合，比如机械臂、机器人等应用。
STM32——PWM（含源代码）
zxtzxt12138的博客
11-03 5078
pwm生成代码以及如何配置生成pwm所需的寄存器；还有如何从芯片手册知道如何配置PWM波形
【51单片机学习记录】PWM概述及其应用
La_gloire的博客
04-08 3795
板子是第十五届蓝桥杯的板子。
STM32之PWM
weixin_54076783的博客
03-02 8696
PWM，英文名Pulse Width Modulation，是脉冲宽度调制缩写，它是通过对一系列脉冲的宽度进行调制，等效出所需要的波形（包含形状以及幅值），对模拟信号电平进行数字编码，也就是说通过调节占空比的变化来调节信号、能量等的变化，周期是频率的倒数，如驱动sg90舵机时PWM信号的频率大概为50HZ，即周期为20ms（Tout，也就是定时时间）配置定时方式，定时时间为0.5ms（即PSC为71，ARR为499），PWM的相关信息（选择PWM模式1）由于需要手动改变PWM的占空比，所以设置为0。
9、STM32的PWM的原理与使用（内附代码）
nandycooh
12-19 1万+
1、PWM是什么？ 是脉冲宽度调制，简称脉宽调制。利用微处理器数字输出对模拟电路进行控制的一种有效的技术，就是对脉冲宽度的控制。 这里说的脉冲，就是我们产生的方波。方波就是N个这样的周期连续的产生。 一个周期内高电平持续的时间就是脉冲宽度(脉宽)，而PWM（脉冲宽度调制）就是控制一个周期内的高电平的持续时间。 2、简单的PWM的原理示意图 CNT：是当前值寄存器，...
【STM32】PWM输出原理
m0_61151031的博客
06-05 4157
目录PWM模式的工作框架：PWM模式的工作原理：PWM库函数配置：1.初始化定时器输出通道：TIM_OC2Init2.设置比较值函数：TIM_SetComparex3.使能预装载寄存器：void TIM_OC2PreloadConfig由之前的定时器中断实验知道，定时器内部有一个记录定时器当前值的寄存器CNT和一个记录定时器自动重装载值的寄存器ARR，而在PWM工作模式下，我们依然利用这两个定时器来记录时间，不同的是多引入一个寄存器CCRx，这个寄存器用于控制PWM输出波的有效电平长度、引入CCMRx寄存器
engine/trainer:输出完卡住
03-16
### 可能的原因分析 在强化学习模型训练的过程中，如果程序在输出完成之后卡住，可能有以下几个原因： 1. **数据流阻塞** 如果训练过程中的数据管道未被正确关闭或者存在死锁情况，则可能导致程序无法继续执行。这通常发生在多线程或多进程环境中[^1]。 2. **损失函数计算异常** 当切换到均方误差（MSE）作为损失函数时，可能存在数值不稳定的情况，例如梯度爆炸或消失现象。这种情况下，虽然不会立即报错，但可能会导致训练停滞不前。 3. **资源耗尽** 训练过程中内存不足或其他硬件资源耗尽也可能引发此类问题。尤其是在处理大规模数据集或复杂网络结构时更为常见。 4. **代码逻辑错误** `reinforcement_value_trainer.py` 和 `supervised_policy_trainer.py` 的差异部分如果没有仔细调整，比如循环条件设置不当、文件句柄未关闭等问题，都可能导致程序挂起。 --- ### 解决方案建议 #### 1. 检查数据加载器 确认数据加载器是否正常工作并已完全释放资源。可以尝试手动终止迭代器来验证是否存在阻塞行为： ```python try: for batch in dataloader: pass # Simulate no-op processing except Exception as e: print(f"Error during iteration: {e}") finally: del dataloader # Ensure resource cleanup ``` #### 2. 调试损失函数实现 确保 MSE 损失函数的实现无误，并监控其返回值范围是否合理。以下是标准 PyTorch 实现方式供参考： ```python import torch.nn.functional as F def compute_loss(predictions, targets): return F.mse_loss(predictions, targets.float()) # Ensure type consistency ``` 注意目标标签应转换为浮点数类型以匹配预测张量的数据格式。 #### 3. 增加日志记录 通过增加详细的日志信息定位具体卡顿位置。例如，在关键环节打印时间戳和变量状态： ```python import time print(f"[{time.strftime('%Y-%m-%d %H:%M:%S')}] Starting epoch {epoch}...") for i, (inputs, labels) in enumerate(dataloader): start_time = time.time() outputs = model(inputs) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() elapsed = time.time() - start_time print(f"Iteration {i}: Loss={loss.item()}, Time taken={elapsed:.2f}s") ``` #### 4. 验证环境配置 排查是否有 GPU/CPU 设备分配冲突或驱动版本兼容性问题。运行以下命令检测当前设备状况： ```bash nvidia-smi # For NVIDIA GPUs torch.cuda.is_available() # In Python script ``` --- ### 总结 上述方法涵盖了从基础架构到高级调试技巧的不同层面解决方案。实际操作中可根据具体情况逐一排除潜在隐患直至恢复正常流程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值