- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 2.Smoothing and Mapping
本文摘要：SLAM中的因子图将定位与建图问题建模为变量节点（机器人位姿和地标位置）与因子节点（运动、观测和先验约束）构成的概率图模型。2.1节分析了真实SLAM因子图的链状骨干结构（由里程计因子连接位姿节点）和稀疏侧支连接（观测因子关联位姿与地标），这种结构既反映了状态的不确定性（观测次数决定地标置信度），也确保了计算效率（稀疏性使优化复杂度为线性）。2.2节将MAP推断转化为非线性最小二乘问题，通过高斯噪声假设将概率最大化转换为误差项的最小化，为后续线性化和优化算法提供理论基础。
2026-03-09 10:38:41
579
原创 1.Introduction
本文介绍了机器人SLAM问题中的概率建模方法。首先阐述了SLAM的核心挑战：在未知环境中同时进行定位与地图构建。针对传感器测量的不确定性，提出采用概率框架量化状态置信度，通过概率密度函数(PDF)描述机器人位姿和地标位置的联合分布。重点讲解了贝叶斯网络在生成式建模中的应用，其有向图结构能直观表示状态变量间的依赖关系，并将高维联合概率分解为低维条件概率的乘积。以包含3个位姿和2个地标的SLAM案例，具体展示了如何将运动模型、观测模型等要素转化为概率因子。最后指出贝叶斯网络虽然建模直观，但在状态推断方面存在局限
2026-03-09 10:34:20
390
原创 1.监督式学习
本文介绍了监督式学习中的两种参数估计算法：最小二乘法(LS)和递归最小二乘法(RLS)。LS通过最小化误差平方和来拟合线性模型，适用于离线批量数据处理。RLS是LS的在线扩展版本，通过递归更新实现实时参数估计，并引入遗忘因子来跟踪时变系统。文章详细推导了两种算法的数学公式，包括信息向量、参数向量、成本函数和参数更新方程，特别说明了RLS中增益矩阵和协方差矩阵的作用。最后给出了RLS算法的Python实现框架，展示如何初始化参数估计和协方差矩阵。这些方法广泛应用于系统辨识和自适应控制领域。
2025-10-21 17:00:38
451
原创 ROS中的坐标转换
坐标系对于机器人上的各类传感器和动力部分都有着至关重要的作用。机器人系统通过集成多个传感器对环境进行感知，为了让安装于多个不同的位置的传感器获取的信息保持一直，必须要有一个统一的坐标系和转换体系来完成。在ROS系统使用了使用了相对坐标系的方法。
2025-04-28 00:47:31
1602
原创 强化学习（11）Advantage Actor-Critic
g(s,a;θ)=[Qπ(s,a)−Vπ(s)⏟优势函数]⋅∇θlnπ(a∣s;θ) \boldsymbol{g}(s,a; \boldsymbol{\theta}) = [ \underbrace{Q_\pi(s,a) - V_\pi(s)}_{\text{优势函数}}] \cdot \nabla_{\boldsymbol{\theta}} \ln \pi(a \mid s; \boldsymbol{\theta}) g(s,a;θ)=[优势函数Qπ(s,a)−Vπ(s)]⋅∇θlnπ(
2025-03-11 20:44:49
2061
原创 强化学习（10）：带基线的策略梯度方法
θ)]把b作为动作价值函数QπSA的baseline，设b是任意的不依赖于动作A的函数。EEA∼π⋅∣S;θ0虽然b对ESAgbSA;θ)]毫无影响，但是b对随机梯度gbSA;θ是有影响的。方差VarESA∣∣g。
2025-03-11 09:53:38
671
原创 强化学习（8）价值学习高级技巧
经验回放的意思是把智能体与环境交互的记录(即经验)储存到一个数组里,事后反复利用这些经验训练智能体。这个数组被称为经验回放数组(replaybuffer)。具体来说,把智能体的轨迹划分成statrtst1这样的四元组,存入一个数组。人为指定数组的大小(记作b)。数组中只保留最近b条数据;当数组存满之后,删掉最旧的数据。数组的大小b是个超参数,会影响训练的结果。通常设置b为105∼106。在实践中,要等回放数组中有足够多的四元组时,才开始做经验回放更新DQN。
2025-03-07 09:05:49
2395
原创 强化学习（7）蒙特卡洛与自举
这就像要知道一个班级学生的平均成绩，理论上要把所有学生成绩加起来再除以人数，但我们可以先随机抽取一部分学生的成绩，用这部分学生的平均成绩来近似全班平均成绩。如果把m值调优，找到一个在方差和偏差之间的平衡点，则多步TD要优于单步TD。就相当于抽取的部分学生成绩，用它近似期望的过程就是典型的蒙特卡洛近似。的过程，有点像自己拉自己一把，用已有的部分成果来推进后续的进展。作为目标训练价值网络,得到的价值网络也是无偏的。是基于m个实际观测值的奖励，是蒙特卡洛成分。右侧是自举的箱线图，偏差较大，但方差较小。
2025-03-05 10:24:27
1125
原创 深度学习（6）Sarsa算法
Q-Learning的目的是学习到最优的动作价值函数Q⋆Q_\starQ⋆SARSA的目的是学习动作价值函数Qπ(s,a)Q_\pi(s,a)Qπ(s,a)SARSA是State−Action−Reward−State−ActionState-Action-Reward-State-ActionState−Action−Reward−State−Action的简称QπQ_\piQπ被用来评价策略的优劣，而非用于控制AgentQπQ_\piQπ与策略函数π\piπ结合使用的模型本称作actor−
2025-03-04 20:20:36
1546
1
原创 强化学习（4） DQN及其编程实现
动作价值函数Qπ(st,at)=E[Ut∣St=st,At=at] Q_{\pi}(s_{t},a_{t})=\mathbb{E}[U_{t}\mid S_{t}=s_{t},A_{t}=a_{t}]Qπ(st,at)=E[Ut∣St=st,At=at]上述公式中，通过求期望消除掉t时刻后，也就是未知的状态和动作St+1,…,SnS_{t+1},\dots,S_{n}St+1,…,Sn和未知的动作At+1,…,AnA_{t+1},\dots,A_{n}At+1,…,An现在影响Q
2025-03-04 10:52:50
927
原创 强化学习（3）
因为Ut的随机性让我们无法判断局势优劣，所以就要对Ut求期望，用于消除其随机性。⋆61×161×261×161×361×461×561×63.5如图所示，当前我们属于state t,假设我们已经观测到状态st,而且做完决策,选中动作at。那么Ut中的随机性来自于 t + 1 时刻起的所有的状态和动作,就是上图中黄色标出来的。
2025-03-01 13:25:55
1086
原创 2.随机性-强化学习笔记2
随机性的来源是与来自于。给定当前状态s策略函数πa∣s会算出动作 空间A中每个动作a 的概率值。智能体执行的动作是随机抽样的结果，所以带有随机性。来自于。当状态s和动作a都被确定下来,下一个状态仍然有随机性。是和的函数。假设t 时刻的奖励是stat的函数,记作:rtrstat基于这种假设,给定当前状态st和动作at, 那么奖励 r_{t}就是唯一确定的。Atstat我们用RtrstA。
2025-03-01 11:07:29
2154
原创 1.强化学习的相关概念-强化学习笔记1
状态转移(state transition) 是指智能体从当前 t 时刻的状态 s 转移到下一个时刻状态为 s′ 的过程。指智能体观测到环境的状态 s,做出动作 a,动作会改变环境的状态,环境反馈给智能体奖励 r 以及新的状态 s′。, 表示这个事件的概率：在当前状态 s ，智能体执行动作 a ，环境的状态变成 s′。在每个时刻,环境有一个状态 (state),可以理解为对当前时刻环境的概括。根据观测到的状态,如何做出决策,即如何从动作空间中选 取一个动作。由谁做动作或决策,谁就是智能体。
2025-03-01 09:52:12
1212
原创 OpenMMLab实训营（五）MMDetection
整个MMLab家族除了MMDetection，还包含针对目标跟踪任务的MMTracking，针对3D目标检测任务的MMDetection3D等开源项目，他们都是以Pytorch和MMCV以基础。Pytorch不需要过多介绍，MMCV是一个面向计算机视觉的基础库，最主要作用是提供了基于Pytorch的通用训练框架，比如我们常提到的Registry、Runner、Hook等功能都是在MMCV中支持的。另外，MMCV还提供了通用IO接口、多种CNN网络结构、高质量实现的常见CUDA算子，这里就不进一步展开了。
2023-02-10 01:18:36
524
原创 openMMLabAI 实战营(四)
在计算机视觉众多的技术领域中，目标检测（Object Detection）也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。在目标检测时，由于每张图像中物体的数量、大小及姿态各有不同，也就是非结构化的输出，这是与图像分类非常不同的一点，并且物体时常会有遮挡截断，所以物体检测技术也极富挑战性，从诞生以来始终是研究学者最为关注的焦点领域之一。目标检测的应用范围很广，如人脸，智慧城市，自动驾驶等等。在利用深度学习做物体检测之前，传统算法对于目标检测通常分为3个阶段
2023-02-07 22:35:01
170
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人