<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[gjhave的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/gjhave</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; gjhave]]></copyright><item><title><![CDATA[jetson上trtexec模型转换]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/161321267</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/161321267</guid><author>gjhave</author><pubDate>Fri, 22 May 2026 17:53:37 +0800</pubDate><description><![CDATA[trtexec模型转换]]></description><category></category></item><item><title><![CDATA[jetson agx xaviar刷机过程]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/161308016</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/161308016</guid><author>gjhave</author><pubDate>Fri, 22 May 2026 10:52:35 +0800</pubDate><description><![CDATA[nvidia jetson agx xaviar刷机过程，以及可能遇到的坑]]></description><category></category></item><item><title><![CDATA[强化学习论文（Double-DQN）]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/160373521</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/160373521</guid><author>gjhave</author><pubDate>Tue, 21 Apr 2026 16:04:26 +0800</pubDate><description><![CDATA[本论文作者主要是解决了在Q-Learning方法中对于q-value的过高估计的问题。]]></description><category></category></item><item><title><![CDATA[强化学习论文（PPO）]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/160353740</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/160353740</guid><author>gjhave</author><pubDate>Tue, 21 Apr 2026 10:40:21 +0800</pubDate><description><![CDATA[在强化学习中，经常会面临梯度更新过大，导致训练不稳定，甚至崩溃的问题。为了解决该问题，诞生了TPRO(Trust Region Policy Optimization，TRPO)算法。TPRO算法实现起来比较复杂，需要二阶优化，并且与包括噪声（诸如丢弃）或参数共享（在策略和值函数之间，或与辅助任务）的架构不兼容。针对这些问题，本论文提出了PPO算法。]]></description><category></category></item><item><title><![CDATA[强化学习论文（A3C）]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/160285842</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/160285842</guid><author>gjhave</author><pubDate>Sat, 18 Apr 2026 20:58:27 +0800</pubDate><description><![CDATA[摘要：A3C（异步优势演员-评论家）算法采用多线程并行探索策略，通过在线学习替代传统DQN/DDPG的回放缓冲区机制。多个agent在独立环境中异步探索，产生多样化数据并避免互斥锁问题。算法核心包括全局网络和线程本地网络，采用n步更新策略，其中优势函数计算和策略熵正则化（通过超参数β控制）增强了探索能力。该框架可适配多种算法变体，如异步Q学习、SARSA等，通过差异化的TD目标计算实现高效学习。]]></description><category></category></item><item><title><![CDATA[强化学习论文（DDPG）]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/160251752</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/160251752</guid><author>gjhave</author><pubDate>Fri, 17 Apr 2026 15:06:17 +0800</pubDate><description><![CDATA[DDPG（深度确定性策略梯度）是一种适用于连续动作空间的强化学习算法，结合了DQN和Actor-Critic方法。它通过四个神经网络（critic、actor及其目标网络）实现端到端学习，特别适合高维输入（如图像）的直接动作输出（如自动驾驶）。算法采用经验回放机制，通过soft update渐进更新目标网络参数以保证稳定性。与DQN不同，DDPG直接输出连续动作值（如电机扭矩），避免了离散动作空间的限制。其创新点包括：经验回放缓冲区的动态管理、critic网络的梯度下降更新和actor网络的梯度上升优化。]]></description><category></category></item><item><title><![CDATA[强化学习（10）--Actor-Critic方法]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/160097217</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/160097217</guid><author>gjhave</author><pubDate>Tue, 14 Apr 2026 10:09:51 +0800</pubDate><description><![CDATA[本文总结了赵世钰老师《强化学习数学基础》课程中关于策略梯度方法的进阶内容。主要包括三类Actor-Critic算法：1）QAC算法，通过神经网络分别近似策略和Q值；2）A2C算法，引入优势函数作为baseline降低方差，提升收敛性；3）Off-policy Actor-Critic算法，结合重要性采样等技术实现异策略学习；4）确定性策略梯度方法，处理确定性策略场景。文章详细推导了各类算法的数学原理，包括优势函数的引入动机、最优baseline设计等，并给出了伪代码实现。]]></description><category></category></item><item><title><![CDATA[强化学习（9）--策略梯度方法]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/160071581</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/160071581</guid><author>gjhave</author><pubDate>Sun, 12 Apr 2026 15:41:47 +0800</pubDate><description><![CDATA[本文介绍了基于策略梯度的强化学习方法。首先提出两种评估策略的指标：平均状态价值和平均奖励，并证明其等价性。然后推导出策略梯度的统一计算公式，并给出蒙特卡罗策略梯度（REINFORCE）算法的实现。该算法通过随机梯度上升优化策略参数，既能利用高回报动作（exploit），又能探索低概率高回报动作（explore）。最后展示了REINFORCE算法的伪代码实现，该算法通过调整动作选择概率来平衡探索与利用。]]></description><category></category></item><item><title><![CDATA[强化学习（8）--值函数近似]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/160025757</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/160025757</guid><author>gjhave</author><pubDate>Sun, 12 Apr 2026 09:24:05 +0800</pubDate><description><![CDATA[本文总结了强化学习从表格法到函数近似法的转变过程。首先介绍了传统表格法在状态空间较大时的局限性，进而提出使用函数近似（如线性函数或神经网络）来表示价值函数的方法。重点讨论了基于时序差分(TD)的价值函数近似、Q-learning的函数近似实现，以及深度Q网络(DQN)的关键技术，包括双网络结构、经验回放机制等。文章通过对比表格法和函数法的差异，阐述了函数近似在泛化能力和计算效率上的优势，并给出了相应的伪代码实现。最后指出，虽然线性近似易于理解，但神经网络在处理复杂任务时更具优势。]]></description><category></category></item><item><title><![CDATA[强化学习（7）--时序差分方法]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/159978858</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/159978858</guid><author>gjhave</author><pubDate>Fri, 10 Apr 2026 16:55:59 +0800</pubDate><description><![CDATA[本文基于赵世钰《强化学习数学基础》课程，系统总结了TD算法的推导与应用。首先从贝尔曼公式出发，推导出TD0算法的基本形式，指出其model-free特性及只能估计状态值的局限性。随后介绍了Sarsa算法及其n-step扩展，以及Q-learning的核心思想。文章重点分析了on-policy和off-policy的本质区别：前者行为策略与目标策略相同（如Sarsa），后者则不同（如Q-learning）。通过伪代码对比，阐明了两种策略在算法实现上的差异，并探讨了将算法改写为不同策略形式的可能性。]]></description><category></category></item><item><title><![CDATA[强化学习（6）--一些基础理论]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/159946886</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/159946886</guid><author>gjhave</author><pubDate>Thu, 09 Apr 2026 08:37:11 +0800</pubDate><description><![CDATA[说明：本系列文章是我在学习了西湖大学赵世钰老师的《Mathematical Foundations of Reinforcement Learning》一书后的学习笔记，在B站上有赵老师的完整课程视频。本文介绍了一些强化学习依赖的重要理论工具，包括前面提到的压缩映射和在后文中要用到的重要性采样等理论，我都放在了这篇文章内。]]></description><category></category></item><item><title><![CDATA[强化学习（5）--蒙特卡罗方法]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/159922267</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/159922267</guid><author>gjhave</author><pubDate>Wed, 08 Apr 2026 09:58:06 +0800</pubDate><description><![CDATA[本文介绍了基于赵世钰《强化学习数学基础》的蒙特卡洛学习方法。当环境模型未知时，需依靠数据实现model-free学习。MCBasic算法通过采样episode估计动作价值函数（而非状态价值），避免了依赖环境模型。进阶方法MC Exploring Starts通过every-visit采样提高数据利用率，采用epsilon-greedy策略平衡探索与利用，并通过衰减系数逐步降低探索率以稳定收敛。这些方法在缺乏环境模型时，通过数据驱动方式有效求解最优策略。]]></description><category></category></item><item><title><![CDATA[强化学习（4）--值迭代算法&策略迭代算法]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/159913204</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/159913204</guid><author>gjhave</author><pubDate>Tue, 07 Apr 2026 14:50:21 +0800</pubDate><description><![CDATA[本文总结了强化学习中的值迭代、策略迭代和截断策略迭代算法。值迭代通过直接求解贝尔曼最优方程（BOE）来获得最优策略；策略迭代则先评估给定策略的状态值，再通过贪婪策略改进，交替进行直至收敛；截断策略迭代在策略评估阶段采用有限步数近似。文章分析了三种算法的异同：值迭代直接计算max(q)，策略迭代使用mean(q)计算状态值后改进策略。同时解释了策略改进的有效性证明和算法收敛性保证。这些方法都通过计算状态值来获取贪婪策略，最终实现最优策略的求解。]]></description><category></category></item><item><title><![CDATA[强化学习（3）--最优状态价值&最优策略]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/159892946</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/159892946</guid><author>gjhave</author><pubDate>Tue, 07 Apr 2026 10:18:59 +0800</pubDate><description><![CDATA[本文基于西湖大学赵世钰老师的强化学习课程，探讨了最优状态价值和最优策略的定义与求解方法。最优策略要求在所有状态下其state value都不低于其他策略。通过贝尔曼最优方程(BOE)可求解最优状态价值，该方程具有唯一解且可通过值迭代方法求解。值得注意的是，最优状态价值唯一但最优策略可能不唯一，且最优策略可以是确定性或随机性的。文章还分析了影响最优策略的三个关键因素：即时奖励（线性影响）、折扣率（权衡近期与长期收益）和系统模型。]]></description><category></category></item><item><title><![CDATA[强化学习（2）--状态值&贝尔曼方程]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/159883013</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/159883013</guid><author>gjhave</author><pubDate>Mon, 06 Apr 2026 20:08:58 +0800</pubDate><description><![CDATA[本文摘要： 文章主要讨论了强化学习中的几个核心概念：returns的重要性、状态价值(state value)和贝尔曼方程(Bellman equation)。首先通过实例比较了不同策略的优劣，指出returns是评估策略效果的关键指标。其次详细解释了状态价值的计算方法，特别是在随机策略下需要通过期望值来评估。然后重点介绍了贝尔曼方程的推导过程，包括其矩阵形式和迭代求解方法。最后讨论了行动价值(action value)的概念及其与状态价值的关系，并给出了action value形式的贝尔曼方程表示。]]></description><category></category></item><item><title><![CDATA[强化学习（1）--基本概念]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/159863706</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/159863706</guid><author>gjhave</author><pubDate>Mon, 06 Apr 2026 10:53:45 +0800</pubDate><description><![CDATA[本文是作者学习西湖大学赵老师《Mathematical Foundations of Reinforcement Learning》一书的学习笔记。文章以gridworld为例，探讨如何找到从任意位置到达目标区域的最佳策略。强化学习的核心是让智能体(agent)通过在不同状态下选择动作，与环境交互获得奖励，从而学习最优策略(policy)。书中内容和配套视频课程可在B站观看。]]></description><category></category></item><item><title><![CDATA[【BLDC驱动】分析同步续流与体二极管续流]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/127440930</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/127440930</guid><author>gjhave</author><pubDate>Fri, 21 Oct 2022 10:28:10 +0800</pubDate><description><![CDATA[驱动方式大致可以描述为，高电压端PWM驱动上桥，且高电压端以反向PWM驱动下桥，低电压端以普通IO口驱动下桥。电机转动线圈切割永磁体的磁场，在U、V、W三端产生相对电压，如果将2端或3端连接，形成回路，动能就可以转化为电能然后转化为热能，仍然以A-B相导通为例，在一个PWM周期内，当PWM由高电平进入低电平，也就是Q1由导通变为关断，此时原回路消失，仍然以A-B相导通为例，在一个PWM周期内，当PWM由高电平进入低电平，也就是Q1由导通变为关断，此时原回路消失，大前提，采用二二导通，六步电流换向驱动。]]></description><category></category></item><item><title><![CDATA[嵌入式Linux开发环境搭建]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/126807516</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/126807516</guid><author>gjhave</author><pubDate>Mon, 12 Sep 2022 07:35:42 +0800</pubDate><description><![CDATA[Samba服务器的工作原理是：客户端向Samba服务器发起请求，请求访问共享目录，Samba服务器接收请求，查询smb.conf文件，查看共享目录是否存在，以及来访者的访问权限，如果来访者具有相应的权限，则允许客户端访问，最后将访问过程中系统的信息以及采集的用户访问行为信息存放在日志文件中。使用NFS可以使应用程序的开发变得十分方便， 客户端不需要大容量的存储器，更不需要进行映像文件的烧录和下载，只要mount到服务器端的特定目录下，然后运行该目录下的程序即可观察到结果。工欲善其事，必先利其器。]]></description><category></category></item><item><title><![CDATA[FreeRTOS学习总结 （二）]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/126717151</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/126717151</guid><author>gjhave</author><pubDate>Wed, 07 Sep 2022 13:05:15 +0800</pubDate><description><![CDATA[软件计时器由FreeRTOS内核实现，并在其控制之下。它们不需要硬件支持，也与硬件计时器或硬件计数器无关。软件计时器功能是可选的。要使用软件计时器功能：1、构建FreeRTOS源文件 FreeRTOS/Source/timers.c作为项目的一部分。2、在FreeRTOSConfig.h中将configUSE_TIMERS设置为1。软件计时器回调函数从开始执行到结束尾执行，并以正常方式退出。它们应保持短小，并且不能进入阻塞状态。软件定时器的回调函数，是在一个FreeRTOS调度器启动时，]]></description><category></category></item><item><title><![CDATA[STM32，FreeRTOS，Tracealyzer，J-link RTT流模式，无数据上传问题解决]]></title><link>https://blog.youkuaiyun.com/gjhave/article/details/126736216</link><guid>https://blog.youkuaiyun.com/gjhave/article/details/126736216</guid><author>gjhave</author><pubDate>Tue, 06 Sep 2022 23:50:39 +0800</pubDate><description><![CDATA[哈，xPortSysTickHandler()和SysTick_Handler()的这两个函数都是systick 的中断处理函数，为了保险起见，在工程中搜索这两个函数，发现没有任何其他引用，果断注释掉FreeRTOSConfig.h文件中#define xPortSysTickHandler SysTick_Handler。至于为什么FreeRTOSConfig.h中会这么定义，下次再研究，晚上12点了，睡觉！4、我的J-LINK一直提示clone，但能正常使用，我为了排除硬件原因，新买了一个，还是不行。]]></description><category></category></item></channel></rss>