<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[m0_46417154的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/m0_46417154</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; m0_46417154]]></copyright><item><title><![CDATA[grid world环境下学习TD方法和贝尔曼方程]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/164169540</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/164169540</guid><author>m0_46417154</author><pubDate>Sat, 29 Aug 2026 14:43:10 +0800</pubDate><description><![CDATA[grid world 环境下学习验证 TD 方法和贝尔曼方程求解]]></description><category></category></item><item><title><![CDATA[与AI对话后对 Actor-Critic 中 TD Target 的 a‘ 来源总结]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/164001766</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/164001766</guid><author>m0_46417154</author><pubDate>Sun, 23 Aug 2026 20:08:52 +0800</pubDate><description><![CDATA[训练范式数据集 a’ 代表谁能否取数据集 a’代表算法交替完全收敛（策略迭代）当前策略 π_θ（刚采集）✅ 完全合法经典策略迭代增量式更新（现代 QAC）"微旧"策略❌ 误差累积On-policy 批量收集当前策略 π_θ✅ 可以A2C, PPO经验回放旧策略 μ ≠ π_θ❌ 必须重算核心区别：交替完全收敛保证数据绝对新鲜（采集时策略固定），可以取数据集 a’；增量式更新中 Actor 每步在变，哪怕"很近的历史"数据中的 a’ 也已经过时，必须重算actor(s')]]></description><category></category></item><item><title><![CDATA[Ashvin Nair的博士论文Scalable Robot Learning 第3章 CC-RIG]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/163803535</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/163803535</guid><author>m0_46417154</author><pubDate>Sun, 16 Aug 2026 22:22:02 +0800</pubDate><description><![CDATA[若场景中只有蓝色 方块，机器人从 VAE 先验采样出的目标可能要求它去推动一个。，只变化物体位置，从而可用于视觉多样场景中的目标生成。在单一环境的简单设置下，该假设近似成立（任何过去访问过的状态都是合理目标）。交互，每次 trial 的初始场景、物体可能都不同。，使标准 RIG 在视觉多样的环境中无法超越初始随机策略的水平。在视觉复杂的场景中，表示场景中的所有元素对于控制往往是不必要的。，要求在条件 s_0下想象的目标，该模型称为。，对之前工作中的VAE修改为CVAE，但在真实世界中，机器人会与。]]></description><category></category></item><item><title><![CDATA[Ashvin Nair的博士论文Scalable Robot Learning 第2章 RIG]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/163801461</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/163801461</guid><author>m0_46417154</author><pubDate>Sun, 16 Aug 2026 17:56:21 +0800</pubDate><description><![CDATA[的问题在于：两幅语义相近的图像（物体同位置但光照微变）像素差异可能极大；仅使用HER或想象的目标，其效果差不多。其中 z = E_φ(x) 是当前图像的编码，z_g = E_φ(x_g) 是目标图像的编码（或想象目标采样）。这种方式在模拟环境中尚且可行，但在真实世界中变得极其不切实际：奖励工程和传感器系统的部署成本高昂且脆弱。：首个将无监督表示学习（VAE）与目标条件化RL完整结合的方法，实现了从纯视觉输入的自主技能学习。：在Sawyer机器人上成功实现仅用图像输入的到达和推动任务，证明方法的现实可行性。]]></description><category></category></item><item><title><![CDATA[从强化学习论文里的 segment_tree.py 倒推线段树原理]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/163573856</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/163573856</guid><author>m0_46417154</author><pubDate>Sat, 08 Aug 2026 00:08:40 +0800</pubDate><description><![CDATA[线段树学习总结：从强化学习论文到工业代码实现 本文记录了作者学习线段树（Segment Tree）的完整过程，从强化学习论文中发现的优先经验回放（PER）需求出发，通过博客学习、C语言实现、代码转换等步骤，最终理解工业级线段树实现。 学习路径： 从RL论文发现PER需求，引出线段树 通过博客学习线段树基本原理和实现方式 用C语言实现五类线段树变体（求和、区间修改、最大值等） 将Python工业代码转换为C代码进行对比学习 回归RL框架理解PER具体实现]]></description><category></category></item><item><title><![CDATA[逆变器并网还在开 MATLAB？这个免费在线工具 3 秒算出 PCC 电压]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/163396257</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/163396257</guid><author>m0_46417154</author><pubDate>Sat, 01 Aug 2026 17:19:41 +0800</pubDate><description><![CDATA[做逆变器并网的工程师，一定遇到过这个场景：客户问：逆变器接入这个点位，PCC 电压会变成多少？X/R 比值怎么选？于是你打开 ETAP 或者 DIgSILENT，建模型、设参数、跑潮流，折腾半小时就为了算一个电压值。或者翻出 MATLAB，敲一堆代码，等编译运行出结果。更痛苦的是，如果你想换个参数试试——比如无功从 0.3 改到 0.5——又得重新跑一遍。，纯网页端，浏览器打开就能用，不用安装任何软件。]]></description><category></category></item><item><title><![CDATA[对“先验知识”的思考]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/162573908</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/162573908</guid><author>m0_46417154</author><pubDate>Sat, 04 Jul 2026 10:32:09 +0800</pubDate><description><![CDATA[摘要 先验知识在认知过程中起着关键作用，它能帮助我们避免将无关事件强行关联（如将感冒痊愈归因于迈步顺序）。人类天生具备基础先验知识，这种机制能有效筛选合理的因果关系候选集，而非盲目统计所有数据。]]></description><category></category></item><item><title><![CDATA[AI 深度对比 VAE 与 GAN ：从表象差异到本质成因]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/162561289</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/162561289</guid><author>m0_46417154</author><pubDate>Fri, 03 Jul 2026 22:09:20 +0800</pubDate><description><![CDATA[文章摘要： VAE与GAN作为两大深度生成模型，在核心理念、架构和生成效果上存在显著差异。VAE基于概率重构，通过KL散度优化实现稳定训练，生成样本多样但模糊；GAN采用对抗博弈机制，生成图像高清但易模式崩溃。VAE的模糊性源于KL散度的全局覆盖特性和像素级监督，而GAN的清晰度得益于判别器的特征级反馈和动态博弈策略。两者优劣互补，催生了VAE-GAN等混合模型，而扩散模型进一步融合了双方优势。实际应用中，VAE适合需要可解释隐空间的任务，GAN适用于高清视觉生成，扩散模型则是兼顾质量与稳定性的现代选择。理]]></description><category></category></item><item><title><![CDATA[行为克隆与 Actor-Critic 算法中 actor 的优化目标在离散环境下的统一视角]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/162498629</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/162498629</guid><author>m0_46417154</author><pubDate>Thu, 02 Jul 2026 00:06:38 +0800</pubDate><description><![CDATA[本文揭示了行为克隆与Actor-Critic算法在离散环境下的内在联系。两者策略更新的梯度形式本质相同，区别仅在于优势函数A(s,a)的取值：Actor-Critic中A(s,a)可正可负，通过Critic评价动作好坏来双向调整策略；而行为克隆相当于A(s,a)≡1的特例，隐含假设专家动作都是最优，仅单向增加动作概率。这一统一视角表明行为克隆可视为缺乏负反馈机制的Actor-Critic方法。]]></description><category></category></item><item><title><![CDATA[现代离线强化学习奠基之作BCQ算法学习]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/162376024</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/162376024</guid><author>m0_46417154</author><pubDate>Sun, 28 Jun 2026 00:18:40 +0800</pubDate><description><![CDATA[本文介绍了离线强化学习算法BCQ（Batch-Constrained deep Q-Learning）的项目实现，包含连续和离散动作空间两个版本。项目基于Fujimoto等人2019年的论文，通过限制策略在行为策略支撑集内搜索动作，避免分布外动作导致的Q值高估问题。项目采用三阶段流程：1）训练行为策略（DDPG/DQN）；2）用训练好的策略收集离线数据；3）仅用缓冲区数据离线训练BCQ。连续版本整合了VAE、Actor和Critic三个组件，离散版本则增加了动作概率过滤机制。项目提供了完整代码结构和调用关系]]></description><category></category></item><item><title><![CDATA[深度生成模型领域的奠基之作 VAE 变分自编码器 — 学习笔记]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/162375871</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/162375871</guid><author>m0_46417154</author><pubDate>Sat, 27 Jun 2026 23:56:15 +0800</pubDate><description><![CDATA[本文介绍了基于PyTorch的变分自编码器(VAE)学习笔记，包含代码实现与理论解析。项目改造自原论文官方代码，提供标准VAE、条件VAE和回归器三种模型实现。主要内容包括： 项目结构说明：包含模型定义、训练脚本、工具函数和数据集目录 VAE架构详解：展示编码器-解码器结构，重点说明均值(mu)和对数方差(logvar)的双分支设计 损失函数组成：重建损失(BCE)和KL散度项的数学表达 实现细节：ReLU激活在mu/logvar计算中的差异化处理 学习资源：推荐辅助理解的论文和代码仓库 项目通过MNIST]]></description><category></category></item><item><title><![CDATA[TD更新公式与低通滤波器视角]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/162108488</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/162108488</guid><author>m0_46417154</author><pubDate>Thu, 18 Jun 2026 22:08:29 +0800</pubDate><description><![CDATA[时序差分（TD）看起来很像一阶低通滤波器？如果TD更新能等效为多个交叉耦合的一阶低通滤波器网络，那是否存在其他 IIR 滤波器能实现更好的效果呢？]]></description><category></category></item><item><title><![CDATA[AI对DDPG算法深度理解：为什么没有Q-learning中的max操作]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/161985423</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/161985423</guid><author>m0_46417154</author><pubDate>Sun, 14 Jun 2026 23:17:47 +0800</pubDate><description><![CDATA[DDPG不是去掉了max操作，而是将离散的max转化为连续的优化问题离散空间: max_a Q(s,a) → 枚举比较（组合优化）连续空间: max_a Q(s,a) → 梯度上升（连续优化）这是一种从组合优化到连续优化的范式转换。]]></description><category></category></item><item><title><![CDATA[deepseek-v4-pro 在TD3算法上的改进]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/161979524</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/161979524</guid><author>m0_46417154</author><pubDate>Sun, 14 Jun 2026 15:53:42 +0800</pubDate><description><![CDATA[**摘要：DeepSeek-v4-pro成功改进TD3算法，提出HATD3（Heterogeneous Adaptive TD3），通过优化Critic集成机制提升性能。改进包括：使用3个独立Critic并采用Trimmed Mean目标计算、每步更新目标网络、共享batch数据。在HalfCheetah-v5环境测试中，HATD3最终性能提升6.4%，训练更稳定（标准差降低18%）。AI展现了强大的自我纠正能力，解决了初始版本因TD目标错配导致的训练崩溃问题，并克服了环境配置和代码兼容性挑战。]]></description><category></category></item><item><title><![CDATA[补充＜动手学强化学习＞中TD3算法]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/161936033</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/161936033</guid><author>m0_46417154</author><pubDate>Fri, 12 Jun 2026 22:00:34 +0800</pubDate><description><![CDATA[<动手学强化学习>中TD3算法，TD3论文笔记]]></description><category></category></item><item><title><![CDATA[强化学习框架tianshou学习]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/160484707</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/160484707</guid><author>m0_46417154</author><pubDate>Sat, 25 Apr 2026 00:40:33 +0800</pubDate><description><![CDATA[天授代码学习]]></description><category></category></item><item><title><![CDATA[光伏逆变器boost电路阻抗无源化重塑研究]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/160313995</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/160313995</guid><author>m0_46417154</author><pubDate>Sun, 19 Apr 2026 22:00:27 +0800</pubDate><description><![CDATA[摘要 光伏逆变器前级boost电路在光伏阵列高内阻工况下易发生振荡失稳。本文提出阻抗无源化重塑方法：首先建立boost电路状态空间模型，分析LC谐振特性；通过阻抗分析法推导系统稳定条件，指出需确保阻抗比Zpv/Zo满足Nyquist判据；针对临界稳定问题，提出通过修改控制器结构或并联/串联阻抗网络实现输出阻抗Zo的无源化重塑，使其全频段满足Re(Zo)≥0。仿真验证表明，该方法能有效拓宽系统稳定运行范围。 （150字）]]></description><category></category></item><item><title><![CDATA[Soft Actor-Critic[SAC]论文学习笔记]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/159516919</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/159516919</guid><author>m0_46417154</author><pubDate>Thu, 26 Mar 2026 23:45:17 +0800</pubDate><description><![CDATA[奖励函数中增加熵，可以提高策略的学习的多样性，提高鲁棒性。]]></description><category></category></item><item><title><![CDATA[熵的理解：从定义到强化学习应用]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/159397341</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/159397341</guid><author>m0_46417154</author><pubDate>Mon, 23 Mar 2026 23:21:19 +0800</pubDate><description><![CDATA[本文系统介绍了熵的概念及其在强化学习中的应用。首先阐述了熵、交叉熵和KL散度的数学定义及其相互关系：交叉熵=熵+KL散度。然后分析了熵的性质，指出熵衡量分布的多样性，KL散度衡量分布间差异。在应用层面，重点讨论了强化学习中的最大熵原理，通过推导证明最大化"奖励+熵"等价于最小化策略分布与玻尔兹曼分布间的KL散度。这种方法能自动平衡探索与利用，避免过早收敛，学习多峰分布，增强策略的鲁棒性。相比传统强化学习，最大熵方法在机器人控制等需要多样探索的场景中展现出显著优势。]]></description><category></category></item><item><title><![CDATA[单相逆变器强化学习主动谐波电流控制 [确定性环境]]]></title><link>https://blog.youkuaiyun.com/m0_46417154/article/details/159348343</link><guid>https://blog.youkuaiyun.com/m0_46417154/article/details/159348343</guid><author>m0_46417154</author><pubDate>Sun, 22 Mar 2026 11:09:34 +0800</pubDate><description><![CDATA[单相逆变器强化学习主动调整前馈电压进行电流控制]]></description><category></category></item></channel></rss>