- 博客(64)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 损失函数：MAPPO的“学习信号”
组件输入输出被谁使用价值函数VsV(s)Vs全局状态sts_tst，是当前环境的完整描述标量（态势评分，即当前态势的绝对评分）计算 GAE 中的TD误差δt\delta_tδt，是后续优势计算的基础广义优势函数At\hat{A}_tAt奖励rtr_trt,折扣γ\gammaγVstVst1VstVst1标量（动作相对好坏程度）作为权重计算Actor 损失（权重） + 作为目标值计算Critic 损失（目标值）
2026-04-25 11:14:13
365
原创 从普通强化学习到MAPPO，目标函数与策略梯度的演进路线
强化学习的核心目标：找到最优策略参数θ\thetaθ，最大化策略下长期累积奖励的数学期望。数学表达：J(θ)=Eτ∼πθ[R(τ)](0)J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[R(\tau)]\tag{0}J(θ)=Eτ∼πθ[R(τ)](0)各符号详细说明：轨迹τ\tauτ：智能体在环境中执行动作形成的完整序列，τ=(s0,a0,s1,a1,…,sT,aT)\tau = (s_0,a_0,s_1,a_1,\dots,s_T,a_T)τ=(s0
2026-04-25 10:40:26
450
原创 MAPPO中V(s)作为基线的含义及基线定义
在强化学习（尤其是策略梯度方法，MAPPO本质是多智能体版PPO，属于策略梯度类算法）中，基线是一个与当前动作无关的基准值，核心作用是「降低策略梯度的方差」，同时不改变梯度的期望，让训练更稳定、收敛更快。简单类比：比如评判学生的考试成绩，“班级平均分”就是一个基线——比平均分高，说明表现优于平均；比平均分低，说明表现不及平均。这里的“基线”（平均分）不针对某个学生的具体答题动作（对应智能体的具体动作a），只是一个统一的参考标准。
2026-04-23 20:39:23
388
原创 TD误差、优势函数和广义优势函数
我们把整条逻辑串一遍，你以后看到代码就不会懵：1. **优势定义** $A(s,a) = Q(s,a) - V(s)$2. **贝尔曼方程代入 Q** $Q(s,a) = r + \gamma V(s')$3. **得到单步 TD 优势** $\delta_t = r_t + \gamma V_{t+1} - V_t$4. **多步优势累加，加权得到 GAE** $A_t^{GAE} = \delta_t + \gamma\lambda A_{t+1}^{GAE}$
2026-04-23 18:19:17
457
原创 MAPPO 中 Critic 价值函数：从原理到工程必要性
Critic 不是 “可选”，而是 MAPPO 的必需组件：它把高方差的随机累计回报，转化为低方差的期望价值估计，为优势函数、GAE、多智能体信用分配提供稳定信号，是 MAPPO 能在复杂环境中收敛的核心保障。
2026-04-23 18:15:45
463
原创 近端策略优化PPO（Proximal Policy Optimization）算法
概念公式说明目标函数JθEπθ∑t0∞γtrtJθEπθ∑t0∞γtrtActor 优化目标，最大化轨迹期望累积奖励状态价值函数VπsEπθ∑k0∞γkrtk∣stsVπsEπθ∑k0∞γkrtk∣sts从状态sss出发，遵循策略πππ的期望回报动作价值函数QπsaEπθ∑k。
2026-01-27 17:38:10
983
原创 赵世钰《强化学习的数学原理》第十章重点总结
策略梯度方法（Policy Gradient Methods）的基本思想是最大化一个目标函数JθJ(\theta)Jθ来得到最优策略。用于最大化JθJ(\theta)Jθ的梯度上升算法是θt1θtα∇θlnπat∣stθt⋅qtstatθt1θtα∇θlnπat∣stθt⋅qtstat该式清楚地展示了如何融合基于策略的方法和基于价值的方法。
2026-01-24 17:36:49
697
原创 赵世钰《强化学习的数学原理》第九章重点总结
本章核心是策略梯度方法（Policy Gradient Methods）。即当用函数表示策略时，需要选择一个目标函数，进而优化该目标函数以得到最优策略。本章包括三个问题：目标函数构建、目标函数的梯度推导、如何用经验样本计算梯度并优化目标函数。核心是把策略优化转化为策略参数 θ 的梯度上升问题，实现直接策略搜索。
2026-01-24 10:33:28
678
原创 《强化学习的数学原理》中文版第5-7章 总结
核心思想基于经验回放，对每个状态 - 动作对 (s,a) 的回报（return）进行采样平均，直接估计 q(s,a)；策略改进采用贪心策略，即π′sargmaxaqsaπ′sargmaxaqsa。关键前提要求每个状态 - 动作对 (s,a) 都能被无限次访问，否则无法保证 Q(s,a) 收敛到真实值。探索性缺陷基础 MC 本身没有主动探索机制：一旦策略收敛到局部最优贪心策略，就会停止尝试其他动作，导致无法发现更优的动作选择，即陷入探索不足的问题。
2026-01-20 17:09:12
760
原创 《强化学习的数学原理》中文版第2章-第4章总结
2.策略改进：基于刚刚计算出的价值函数，对每个状态进行检查，看是否存在一个动作，能比当前策略选择的动作带来更高的价值。此外，由于状态值可用于评价策略的优劣，因此，根据贝尔曼方程求解某一策略的状态值的过程称为策略评价。在值迭代（Value Iteration）的过程中，生成的中间值不被认为是严格意义上的“状态值”（State Value），主要原因在于。不显式地维护一个策略，直接通过贝尔曼最优方程，将策略改进和价值评估合并为一步，假设每一步都是最优的。因此，策略迭代过程中的中间值，都是某个真实策略的状态值。
2026-01-18 18:24:56
751
原创 《强化学习的数学原理》中文版第2章 贝尔曼方程 学习笔记
核心概念： 状态值，作为一个评价策略好坏的指标核心工具： 贝尔曼方程，描述了所有状态值之间的关系。通过求解贝尔曼方程，得到状态值，进而可以评价一个策略的好坏。回顾： 回报可以评价一个策略的好坏。通过如图2.1所示三个在状态s1s_1s1策略不同，其他状态策略相同的例子来说明回报的重要性，并分析三个不同策略的好坏。定义viv_{i}vi为从状态sis_isi出发得到的回报，i=1,2,3,4i=1,2,3,4i=1,2,3,4 ,则对应状态出发得到的折扣回报为v1=r1+γr2+γ2r3+γ3
2026-01-16 10:08:57
805
原创 《强化学习的数学原理》中文版第1章 基本概念 学习笔记
书中用网格世界（grid world） 的例子，来直观的对一些概念和算法进行解释。网格世界包括如下几个元素： 智能体（agent）：可以在网格世界中移动，但每个时刻只能停留或占据一个单元格。 允许进入区域：网格世界中的白色区域都是智能体可以自由出入的区域。 禁止进入区域：网格世界中的黄色区域都是智能体禁止进入的区域。 目标区域：网格世界中的蓝色区域，智能体最终需要抵达的区域。 在网格世界中，智能体需要完成的任务是从一个任意的初始区域出发，最终到达目标区域。据此任务可知，智能体需要规划一条
2026-01-14 22:15:34
821
原创 傅里叶变换、拉普拉斯变换、Z 变换的定义及关系
针对绝对可积的连续时间信号ftf(t)ft，傅里叶变换建立了时域与频域的直接映射，核心是将信号分解为不同频率的正弦 / 余弦分量的叠加。正变换FjωFft∫−∞∞fte−jωtdtFjωFft)]∫−∞∞fte−jωtdt其中，ω\omegaω为角频率rad/srad/s），FjωF(j\omega)Fjω是ftf(t)ft的傅里叶变换，表征信号在不同频率下的幅度和相位分布。逆变换ftF−。
2025-12-15 22:05:17
1850
原创 证明复指数函数集在区间[t0, t0+T0]上是完备正交函数集
要证明复指数函数集ϕntejnω0tn−∞∞在区间t0t0T0（其中T0ω02π和。
2025-12-09 21:03:03
1090
原创 雷达发射出来的相干脉冲串，为什么其频谱是一根根独立的离散谱线
雷达 “相干发射” 的核心是信号的频率、相位具有严格稳定性和可预测性（非相干信号如噪声的频率、相位随机波动）。实际雷达相干信号多为周期性信号（如脉冲调制的正弦波、连续波 CW），其数学本质是：信号可表示为周期函数ststT0ststT0T0T_0T0为信号周期），且相位随时间线性变化ϕt2πf0tϕ0ϕt2πf0tϕ0f0f_0f0为载频，ϕ0\phi_0ϕ0为初始相位，无随机抖动）。
2025-12-09 18:38:20
980
原创 对于连续时间周期信号，为什么其能展开为傅里叶级数的形式？和正交分解是什么关系？
设ϕ1t\phi_1(t)ϕ1t和ϕ2t\phi_2(t)ϕ2t是定义在区间t1t2[t_1,t_2]t1t2上的复值函数，它们的内积定义为⟨ϕ1tϕ2t⟩∫t1t2ϕ1t⋅ϕ2∗tdt⟨ϕ1tϕ2t)⟩∫t1t2ϕ1t⋅ϕ2∗tdt式中ϕ2∗tϕ2∗t是ϕ2t\phi_2(t)ϕ2t的共轭函数。
2025-12-09 11:58:26
1055
原创 Python 3.8.10（Win64）+ JSBSim 完整安装验证
1、双击下载好的python-3.8.10-amd64.exe，第一步务必勾选「Add Python 3.8 to PATH」（核心！2、点击「Customize installation」（自定义安装）→ 直接点「Next」（默认组件即可）；4、点击「Install」，等待安装完成（约 1 分钟）→ 安装完成后点击「Close」。1、按下Win+R，输入cmd，打开管理员命令提示符（右键 CMD→以管理员身份运行）；1、每次使用 JSBSim：打开 CMD（无需管理员），执行。
2025-12-07 10:56:38
801
原创 向量、基向量、线性变换及其行列式、秩、向量点积
线性变换是操纵空间的一种手段，它保持网格线平行且等距分布，并保持原点不动。这种变换只需要几个数字就能描述清楚，这些数字就是变换后基向量的坐标，以这些坐标为列所构成的矩阵为我们提供了一种描述线性变换的语言，而矩阵向量乘法是计算线性变换作用于给定向量的一种途径。这里重要的一点是，每当看到一个矩阵时，都可以把它解读为对空间的一种特定变换。复合变换原则，依次变换，即先变换的矩阵乘待变换的向量后，得到的结果，再用后变换的矩阵乘此结果向量。从矩阵角度描述，即先变换对应的矩阵M1在后变换对应矩阵M2的右侧。
2025-10-27 17:00:34
1101
原创 windows10卸载软件不成功，清除控制面板里应用中的残留
windows10，有时候通过控制面板中的“应用程序”卸载某个软件时蓝屏，导致软件已卸载，但仍然的“应用程序”中存在该软件的卸载选项，但点击卸载时系统回提示找不到对应应用程序。想从控制面板中的“应用程序”中清除这个残留。用 “win + R”打开 regeidt, 即注册表编辑器，在以下两个路径下找到残存的软件标识，直接删除即可。
2023-11-20 20:37:19
6357
原创 11 抽象向量空间
可加性：对两个向量进行相加，然后对它们的和进行变换，得到的结果和将变换后的两个向量相加一致。成比例性：将一个向量与某个数相乘，然后对其进行变换，得到的结果和变换后的向量与这个数相乘一致即线性变换保持向量加法运算和数乘运算。前面讨论的网格线平行且等距分布，是这两条性质在二维平面这一特殊情况下的体现。图1 线性的严格定义因此，求导是线性运算。满足可加性和数乘性（成比例）质。
2023-11-07 19:35:15
632
原创 10 特征向量与特征值
图1 特征向量线性变换过程中，大多数向量离开了其自己张成的空间（也就是通过原点和向量尖端的直线），不过，有些向量的确留在了其张成的空间，这意味着矩阵对它的作用仅仅是拉伸或压缩而已，这些特殊的向量就是变换的特征向量；每个特征向量都有一个相关的值，被称为特征值，这个值是衡量变换中拉伸或压缩比例的因子。负的特征值意味着线性变换使得空间发生了翻转，而特征向量停留在它张成的直线上，并未发生旋转。
2023-11-06 22:31:19
527
原创 06 逆矩阵、列空间与零空间
当秩达到最大值时，意味着秩与列数相等，我们称之为“满秩”。零向量一定在列空间中，因为线性变换必须保持原点位置不变。对于一个满秩变换来说，唯一能在变换后落在原点的就是零向量本身。但对于一个非满秩变换来说，它将空间压缩到一个更低的维度上，也就是说会有一系列向量在变换后称为零向量。
2023-11-05 17:48:23
476
原创 03 矩阵与线性变换
线性变换是操纵空间的一种手段，它保持网格线平行且等距分布，并保持原点不动。这种变换只需要几个数字就能描述清楚，这些数字就是变换后基向量的坐标，以这些坐标为列所构成的矩阵为我们提供了一种描述线性变换的语言，而矩阵向量乘法是计算线性变换作用于给定向量的一种途径，如图4所示。这里重要的一点是，每当你看到一个矩阵时，你都可以把它解读为对空间的一种特定变换。
2023-11-04 23:25:40
666
原创 飞行器坐标转换
本文定义的是右手直角坐标系，x−y−zx-y-zx−y−z轴分别为北-天-东。从AAA坐标系到BBB坐标系是分别绕y−z−xy-z-xy−z−x轴，即天-东-北旋转ψ−θ−γψ−θ−γ。如果AAA是惯性系，BBB是机体系，则这三个角度分别为偏航角、俯仰角、横滚角。图1 惯性系到机体系。
2023-11-04 17:42:55
1354
自己编写的多普勒效应matlab源代码
2019-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人