- 博客(30)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 与AI对话后对 Actor-Critic 中 TD Target 的 a‘ 来源总结
训练范式数据集 a’ 代表谁能否取数据集 a’代表算法交替完全收敛（策略迭代）当前策略 π_θ（刚采集）✅ 完全合法经典策略迭代增量式更新（现代 QAC）"微旧"策略❌ 误差累积On-policy 批量收集当前策略 π_θ✅ 可以A2C, PPO经验回放旧策略 μ ≠ π_θ❌ 必须重算核心区别：交替完全收敛保证数据绝对新鲜（采集时策略固定），可以取数据集 a’；增量式更新中 Actor 每步在变，哪怕"很近的历史"数据中的 a’ 也已经过时，必须重算actor(s')
2026-08-23 20:08:52
236
原创 Ashvin Nair的博士论文Scalable Robot Learning 第3章 CC-RIG
若场景中只有蓝色 方块，机器人从 VAE 先验采样出的目标可能要求它去推动一个。，只变化物体位置，从而可用于视觉多样场景中的目标生成。在单一环境的简单设置下，该假设近似成立（任何过去访问过的状态都是合理目标）。交互，每次 trial 的初始场景、物体可能都不同。，使标准 RIG 在视觉多样的环境中无法超越初始随机策略的水平。在视觉复杂的场景中，表示场景中的所有元素对于控制往往是不必要的。，要求在条件 s_0下想象的目标，该模型称为。，对之前工作中的VAE修改为CVAE，但在真实世界中，机器人会与。
2026-08-16 22:22:02
366
原创 Ashvin Nair的博士论文Scalable Robot Learning 第2章 RIG
的问题在于：两幅语义相近的图像（物体同位置但光照微变）像素差异可能极大；仅使用HER或想象的目标，其效果差不多。其中 z = E_φ(x) 是当前图像的编码，z_g = E_φ(x_g) 是目标图像的编码（或想象目标采样）。这种方式在模拟环境中尚且可行，但在真实世界中变得极其不切实际：奖励工程和传感器系统的部署成本高昂且脆弱。：首个将无监督表示学习（VAE）与目标条件化RL完整结合的方法，实现了从纯视觉输入的自主技能学习。：在Sawyer机器人上成功实现仅用图像输入的到达和推动任务，证明方法的现实可行性。
2026-08-16 17:56:21
307
原创 从强化学习论文里的 segment_tree.py 倒推线段树原理
线段树学习总结：从强化学习论文到工业代码实现 本文记录了作者学习线段树（Segment Tree）的完整过程，从强化学习论文中发现的优先经验回放（PER）需求出发，通过博客学习、C语言实现、代码转换等步骤，最终理解工业级线段树实现。 学习路径： 从RL论文发现PER需求，引出线段树 通过博客学习线段树基本原理和实现方式 用C语言实现五类线段树变体（求和、区间修改、最大值等） 将Python工业代码转换为C代码进行对比学习 回归RL框架理解PER具体实现
2026-08-08 00:08:40
335
原创 逆变器并网还在开 MATLAB？这个免费在线工具 3 秒算出 PCC 电压
做逆变器并网的工程师，一定遇到过这个场景：客户问：逆变器接入这个点位，PCC 电压会变成多少？X/R 比值怎么选？于是你打开 ETAP 或者 DIgSILENT，建模型、设参数、跑潮流，折腾半小时就为了算一个电压值。或者翻出 MATLAB，敲一堆代码，等编译运行出结果。更痛苦的是，如果你想换个参数试试——比如无功从 0.3 改到 0.5——又得重新跑一遍。，纯网页端，浏览器打开就能用，不用安装任何软件。
2026-08-01 17:19:41
299
原创 对“先验知识”的思考
摘要 先验知识在认知过程中起着关键作用，它能帮助我们避免将无关事件强行关联（如将感冒痊愈归因于迈步顺序）。人类天生具备基础先验知识，这种机制能有效筛选合理的因果关系候选集，而非盲目统计所有数据。
2026-07-04 10:32:09
213
原创 AI 深度对比 VAE 与 GAN ：从表象差异到本质成因
文章摘要： VAE与GAN作为两大深度生成模型，在核心理念、架构和生成效果上存在显著差异。VAE基于概率重构，通过KL散度优化实现稳定训练，生成样本多样但模糊；GAN采用对抗博弈机制，生成图像高清但易模式崩溃。VAE的模糊性源于KL散度的全局覆盖特性和像素级监督，而GAN的清晰度得益于判别器的特征级反馈和动态博弈策略。两者优劣互补，催生了VAE-GAN等混合模型，而扩散模型进一步融合了双方优势。实际应用中，VAE适合需要可解释隐空间的任务，GAN适用于高清视觉生成，扩散模型则是兼顾质量与稳定性的现代选择。理
2026-07-03 22:09:20
215
原创 行为克隆与 Actor-Critic 算法中 actor 的优化目标在离散环境下的统一视角
本文揭示了行为克隆与Actor-Critic算法在离散环境下的内在联系。两者策略更新的梯度形式本质相同，区别仅在于优势函数A(s,a)的取值：Actor-Critic中A(s,a)可正可负，通过Critic评价动作好坏来双向调整策略；而行为克隆相当于A(s,a)≡1的特例，隐含假设专家动作都是最优，仅单向增加动作概率。这一统一视角表明行为克隆可视为缺乏负反馈机制的Actor-Critic方法。
2026-07-02 00:06:38
187
原创 现代离线强化学习奠基之作BCQ算法学习
本文介绍了离线强化学习算法BCQ（Batch-Constrained deep Q-Learning）的项目实现，包含连续和离散动作空间两个版本。项目基于Fujimoto等人2019年的论文，通过限制策略在行为策略支撑集内搜索动作，避免分布外动作导致的Q值高估问题。项目采用三阶段流程：1）训练行为策略（DDPG/DQN）；2）用训练好的策略收集离线数据；3）仅用缓冲区数据离线训练BCQ。连续版本整合了VAE、Actor和Critic三个组件，离散版本则增加了动作概率过滤机制。项目提供了完整代码结构和调用关系
2026-06-28 00:18:40
214
原创 深度生成模型领域的奠基之作 VAE 变分自编码器 — 学习笔记
本文介绍了基于PyTorch的变分自编码器(VAE)学习笔记，包含代码实现与理论解析。项目改造自原论文官方代码，提供标准VAE、条件VAE和回归器三种模型实现。主要内容包括： 项目结构说明：包含模型定义、训练脚本、工具函数和数据集目录 VAE架构详解：展示编码器-解码器结构，重点说明均值(mu)和对数方差(logvar)的双分支设计 损失函数组成：重建损失(BCE)和KL散度项的数学表达 实现细节：ReLU激活在mu/logvar计算中的差异化处理 学习资源：推荐辅助理解的论文和代码仓库 项目通过MNIST
2026-06-27 23:56:15
180
原创 TD更新公式与低通滤波器视角
时序差分（TD）看起来很像一阶低通滤波器？如果TD更新能等效为多个交叉耦合的一阶低通滤波器网络，那是否存在其他 IIR 滤波器能实现更好的效果呢？
2026-06-18 22:08:29
227
原创 AI对DDPG算法深度理解：为什么没有Q-learning中的max操作
DDPG不是去掉了max操作，而是将离散的max转化为连续的优化问题离散空间: max_a Q(s,a) → 枚举比较（组合优化）连续空间: max_a Q(s,a) → 梯度上升（连续优化）这是一种从组合优化到连续优化的范式转换。
2026-06-14 23:17:47
351
原创 deepseek-v4-pro 在TD3算法上的改进
**摘要：DeepSeek-v4-pro成功改进TD3算法，提出HATD3（Heterogeneous Adaptive TD3），通过优化Critic集成机制提升性能。改进包括：使用3个独立Critic并采用Trimmed Mean目标计算、每步更新目标网络、共享batch数据。在HalfCheetah-v5环境测试中，HATD3最终性能提升6.4%，训练更稳定（标准差降低18%）。AI展现了强大的自我纠正能力，解决了初始版本因TD目标错配导致的训练崩溃问题，并克服了环境配置和代码兼容性挑战。
2026-06-14 15:53:42
417
原创 光伏逆变器boost电路阻抗无源化重塑研究
摘要 光伏逆变器前级boost电路在光伏阵列高内阻工况下易发生振荡失稳。本文提出阻抗无源化重塑方法：首先建立boost电路状态空间模型，分析LC谐振特性；通过阻抗分析法推导系统稳定条件，指出需确保阻抗比Zpv/Zo满足Nyquist判据；针对临界稳定问题，提出通过修改控制器结构或并联/串联阻抗网络实现输出阻抗Zo的无源化重塑，使其全频段满足Re(Zo)≥0。仿真验证表明，该方法能有效拓宽系统稳定运行范围。 （150字）
2026-04-19 22:00:27
467
原创 熵的理解：从定义到强化学习应用
本文系统介绍了熵的概念及其在强化学习中的应用。首先阐述了熵、交叉熵和KL散度的数学定义及其相互关系：交叉熵=熵+KL散度。然后分析了熵的性质，指出熵衡量分布的多样性，KL散度衡量分布间差异。在应用层面，重点讨论了强化学习中的最大熵原理，通过推导证明最大化"奖励+熵"等价于最小化策略分布与玻尔兹曼分布间的KL散度。这种方法能自动平衡探索与利用，避免过早收敛，学习多峰分布，增强策略的鲁棒性。相比传统强化学习，最大熵方法在机器人控制等需要多样探索的场景中展现出显著优势。
2026-03-23 23:21:19
44
原创 简易C语言神经网络框架【小白零基础写手写数字识别例程】
c语言简易神经网络框架，适合新学者，提供手写数字识别例程，代码简易易懂，层次分明，可移植嵌入芯片
2026-03-12 22:54:21
272
dsp28377升级例程
2025-04-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人