- 博客(334)
- 收藏
- 关注
RSS订阅原创 ROS应用 | 使用 Kalman Filter 进行传感器数据融合
在现代机器人、自动驾驶、航空航天等领域中，传感器数据融合是一项至关重要的技术。多个传感器往往会提供冗余的信息，并且这些信息常常包含噪声、误差和不确定性。为了获取更准确、更可靠的估计值，常常采用数据融合的方法，其中 Kalman Filter (卡尔曼滤波器) 是一种经典且高效的滤波技术。本文将重点介绍如何使用 Kalman Filter 进行传感器数据融合，结合 传感器测量数据，以实现准确的状态估计。
2025-04-05 10:00:00
209
原创 RangeNet++如何重新定义3D点云解析？
在自动驾驶汽车穿梭于城市街道、服务机器人在复杂环境中自主导航的背后，LiDAR传感器正扮演着"三维视觉"的关键角色。每秒数十万计的激光点云描绘出环境的空间轮廓，而赋予这些离散点语义信息的能力，直接决定了智能体对环境的理解深度。本文将揭秘RangeNet++技术，看它如何以创新架构破解LiDAR语义分割的难题。RangeNet++，之所以叫Rangenet++，是因为它可以广泛应用于各种基于距离图的CNN网络，通用性很强，所以称之为Rangenet++。
2025-04-04 10:00:00
431
原创 机器人操控新突破：ManipLLM如何让机器人像人类一样“思考”并灵活操作物体
最近机器人领域又有新突破啦！今天咱们就来聊聊这篇很厉害的 CVPR 2024 论文 ——ManipLLM这篇工作。这篇论文的研究团队来自北京大学、北京邮电大学和香港中文大学，他们做的研究简单来说，就是让机器人在操控物体的时候变得更聪明、更灵活。下面我就给大家详细唠唠。
2025-04-03 10:00:00
663
原创 每日前沿技术分享——机器人执行时出问题怎么办？看看英伟达研究院和斯坦佛的Sentinel 框架
各位小伙伴大家好，欢迎来到每日前言技术专栏专题。祝大家百尺竿头，更进一步。在昨天的每日前沿技术分享中，给大家带来的是机器人策略故障检测的一项技术：Code-as-Monitor。那么实际上这段时间，斯坦福联合英伟达研究中心一起也研发出了一个框架，也能对于机器人策略故障做一个很好的检测。我们可以和上一篇对比着来去看，同时，对于这种问题，我们也可以多了解了解，因为确实在研究和生产实际过程中，这项技术都是非常重要的——它相当于是对一个闭环系统提供一个保证。
2025-04-02 10:00:00
840
原创 每日前沿技术分享—— 机器人做长任务一个很好的思路，ManipGen
我们今天来介绍一项完成Long-horizon任务的一项新的技术：ManipGen。什么叫Long-horizon？就是任务比较长。说到底，也是任务比较复杂。那么这个技术就给我们提供了一个非常好的解决这类问题的思路，同时，也取得了不错的效果。我们废话少说，直接进入正题吧。
2025-04-01 10:00:00
246
原创 【SLAM经典算法详解】Ubuntu 20.04部署LeGO-LOAM：从环境配置到KITTI适配，解决常见编译错误
随便找一个文件夹，克隆一下gtsam，注意我们安装第三方库的时候，涉及到了两种方法，一种是直接应用apt来安装，另一种就是安装gstsam的方法，从github上把代码克隆下来，然后进行编译安装，但是我们最终都是安装到了系统上，所以当第三方库已经安装完成时，我们可以把刚刚这个临时文件夹删掉，不会影响已经安装的库的使用。ros安装好之后，我们要从这里开始复现LeGO_LOAM了，由于各种库文件的版本迭代，会有很多报错，下面的内容，大致包含了在Noetic上的会报的所有错误了。
2025-03-31 10:00:00
1045
原创 【MoE】MoE与分布式面试常考
最终，整个MoE Layer 的计算结果就是选 中的 k 个专家网络输出的加权和。随着深度学习模型参数量的指数级增长（如GPT-3达到1750亿参数），传统密集模型的训练成本呈现平方级攀升。以Transformer为例，其计算复杂度为O(N²d)（N为序列长度，d为特征维度）。通过稀疏激活机制，使模型总参数量达到万亿级别时，每个样本仅激活约50亿参数的子网络。例如Google的GShard模型在2048个TPU上实现6000亿参数规模，而激活参数仅为每样本13亿。在每批训练中约束各专家的使用频率差异。
2025-03-30 10:00:00
222
原创 FreeRTOS任务管理全解析：从创建到删除，掌握多任务调度的核心技巧
这个函数不能返回同一个函数，可以用来创建多个任务；换句话说，多个任务可以运行同一个函数函数内部，尽量使用局部变量：每个任务都有自己的栈每个任务运行这个函数时任务A的局部变量放在任务A的栈里、任务B的局部变量放在任务B的栈里不同任务的局部变量，有自己的副本函数使用全局变量、静态变量的话只有一个副本：多个任务使用的是同一个副本要防止冲突/* 对于不同的任务，局部变量放在任务的栈里，有各自的副本 *//* 任务函数通常实现为一个无限循环 */for(;;/* 任务的代码 */
2025-03-29 10:00:00
740
原创 每日前沿技术分享—— SpatialRGPT：赋予视觉语言模型超强空间感知能力
在实际生活中，准确理解空间关系可是非常重要的。就拿机器人来说，不管是在复杂的室内环境里导航，还是完成精准的抓取任务，都离不开对空间的精确感知。在增强现实（AR）领域也是一样，当我们想要在现实场景中叠加虚拟物体时，得保证虚拟物体和真实物体的空间关系正确，这样才能给用户带来沉浸式的体验。可现有的模型在这些方面却总是差那么点意思，这就引出了我们的主角 ——SpatialRGPT，它的出现就是为了填补这些空白。
2025-03-28 10:00:00
422
原创 3D Gaussian Splatting部分原理介绍和CUDA代码解读（一）——3D/2D协方差和高斯颜色的计算
这篇综述的也有详细介绍3D GS的方法。（本系列文章介绍的代码均在此repo内）；本文介绍的代码若未单独说明，均位于中。
2025-03-27 10:00:07
986
原创 FreeRTOS内存管理全解析：5种方法优缺点对比与应用场景
为了让FreeRTOS更容易使用，这些内核对象一般都是动态分配：用到时分配，不使用时释放。使用内存的动态管理功能，简化了程序设计：不再需要小心翼翼地提前规划各类对象，简化API函数的涉及，甚至可以减少内存的使用。内存的动态管理是C程序的知识范畴，并不属于FreeRTOS的知识范畴，但是它跟FreeRTOS关系是如此紧密，所以我们先讲解它。
2025-03-26 10:03:48
594
原创 使用 DeepMimic 训练机器人最佳抓取策略
无论是工业机器人、服务机器人还是医疗辅助机器人，可靠的抓取能力都至关重要。强化学习的目标是找到最优策略，使得累积奖励最大化。P(s′∣s,a) 是状态转移概率，表示执行动作后进入下一个状态的概率分布。等，但这些方法通常需要高精度建模，泛化能力较差，难以适应复杂的环境变化。S 是状态空间，如机器人的关节角度、目标位置等。强化学习的目标是学习一个策略 π(a∣s)，使得。A 是动作空间，如手爪的开合、旋转等控制信号。R(s,a) 是奖励函数，衡量当前动作的优劣。LRL 是标准强化学习损失，负责优化策略。
2025-03-25 07:00:00
445
原创 ROS2 强化学习：案例与代码实战
在机器人技术不断发展的今天，强化学习（RL）作为一种强大的机器学习范式，为机器人的智能决策和自主控制提供了新的途径。ROS2（Robot Operating System 2）作为新一代机器人操作系统，具有更好的实时性、分布式性能和安全性，为强化学习在机器人领域的应用提供了更坚实的基础。本文将通过一个具体案例，深入探讨 ROS2 与强化学习的结合应用，并提供相关代码实现。
2025-03-24 10:00:00
510
原创 基于 Cyclone DDS 的 ROS2 通信优化与实现
随着机器人系统的日益复杂，机器人通信的实时性、稳定性和可扩展性变得尤为重要。在 ROS2（Robot Operating System 2）中，底层通信采用了 DDS（Data Distribution Service）作为核心中间件。不同的 DDS 实现具有各自的优势和应用场景，其中。来分析数据通信的效率。最后，我们将进行实验测试，并分析 Cyclone DDS 在机器人系统中的表现。其中 Dmsg是数据大小，BW 是带宽，Lcong 是网络拥塞造成的额外延迟。的特点，在机器人系统中得到了广泛应用。
2025-03-23 10:00:00
699
原创 深入解析深度学习中的过拟合与欠拟合诊断、解决与工程实践
*模型太复杂，已经能够“死记硬背”记下了训练数据的信息，但是遇到没有见过的数据的时候不能够变通，泛化能力太差。我们希望模型对不同的模型都有稳定的输出。在深度学习模型开发中，欠拟合与过拟合是影响泛化能力的两个核心矛盾。换句换说，就是模型复杂度低，模型在训练集上就表现很差，没法学习到数据背后的规律。要想解决过拟合问题，就要显著减少测试误差而不过度增加训练误差，从而提高模型的泛化能力。模型对训练集"死记硬背"（记住了不适用于测试集的训练集性质或特点），没有理解数据背后的规律，这些都是很好解决欠拟合的方法。
2025-03-22 10:00:00
667
原创 ROS中的TF坐标变换：从传感器数据到机器人系统的精准定位
场景2:现有一带机械臂的机器人(比如:PR2)需要夹取目标物，当前机器人头部摄像头可以探测到目标物的坐标(x,y,z)，不过该坐标是以摄像头为参考系的，而实际操作目标物的是机械臂的夹具，当前我们需要将该坐标转换成相对于机械臂夹具的坐标，这个过程如何实现？场景1：雷达与小车现有一移动式机器人底盘，在底盘上安装了一雷达，雷达相对于底盘的偏移量已知，现雷达检测到一障碍物信息，获取到坐标分别为(x,y,z)，该坐标是以雷达为参考系的，如何将这个坐标转换成以小车为参考系的坐标呢？在坐标变幻中常用的msg是。
2025-03-21 10:00:00
518
原创 可以识别一切物体的模型
我们经常在使用sam或者sam2打掩码之后，可能会遇到需要label的问题。这个时候，可能你需要自己再去训一个resnet或者是说再去通过训练一个别的模型，用监督学习的方法来完成自己的工作。但是这样非常地费时费力。光是打label就会耗费大量时间了。那么这几天，我发现了一个这个模型，它叫recognize anything，字面意思，就是说它可以识别任何物体。我们一起来看一看这项技术有什么用，怎么用，以及它的核心方法是什么吧。我们首先来详细来说一说它都有什么用，能够被用在哪些地方。
2025-03-19 10:00:00
755
原创 探究Mujoco系列（1）：Mujoco的物体是怎么表示的？
我们从这篇文章开始，在代码实战中将有一个系列教程（或者说探索）——那就是Mujoco引擎的研究。在此之前，先来扫一下盲。也就是我们Mujoco是什么。我们为什么要研究Mujoco？以防止大家不知道。不过如果对具身智能有一定了解或者熟悉的同学，想必都应该知道它是什么。因为在仿真里会经常用到它。
2025-03-18 10:00:00
2000
原创 Code-as-Monitor：机器人故障检测的革命性框架
CaM 是一种全新的技术范式，主要用于机器人的故障检测，具备强大的反应式和主动式故障检测能力。在实际应用中，它就像一个 “智能管家”，时刻关注着机器人的工作状态。
2025-03-17 10:00:00
1460
原创 逐行逐句进一步了解SurroundOcc（一）
之前我们专门对bevformer系列的代码进行了介绍。其实bevformer作为这一系列比较关键的工作。也为了我们后续看这些端到端的文章非常有帮助。我们最近这一系列将会围绕这一篇三维占用预测的工作。目前二维转三维主要有两条线：LSS是一个back-projection（直方图反向投射）的工作，这里主要完成了深度估计，是从2D到3D，而bevformer则是一个projection（投影算法），里面主要完成了一个深度转换，即3D到2D。
2025-03-16 10:00:00
822
原创 全连接神经网络（FNN）深度解析
在深度学习的浩瀚宇宙中，全连接神经网络（Feedforward Neural Network, FNN）如同引力般存在，它是所有复杂神经网络架构的基石。从Google Brain团队2012年的猫脸识别实验，到OpenAI的GPT系列模型，看似高深的AI系统底层都流淌着FNN的血液。本文将带您深入探索这一基础架构的奥秘，并手把手实现PyTorch实战。
2025-03-15 10:00:00
385
原创 深入解析对比学习：原理、框架与应用
对比学习是一种通过对比正样本对（相似样本）和负样本对（不相似样本）来学习数据表示的方法。其核心思想是：在学习到的嵌入空间中，相似的实例应该靠得更近，而不相似的实例应该离得更远。这种方法不依赖于大量的标注数据，而是通过数据增强等技术生成正负样本对，从而指导模型学习数据的内在特征和相似性。监督对比学习（Supervised Contrastive Learning, SCL）和自监督对比学习（Self-Supervised Contrastive Learning, SSCL）。
2025-03-14 10:00:00
864
原创 深入解析 Model Context Protocol (MCP)：无缝连接 LLM 与外部世界的开放协议
Model Context Protocol (MCP) 是一个开放协议，旨在实现 LLM 应用与外部数据源和工具之间的无缝集成。无论您是构建 AI 驱动的 IDE、增强聊天界面，还是创建自定义 AI 工作流，MCP 都提供了一种标准化的方式来连接 LLM 与外部世界。简单来说，MCP 是一种客户端-服务器架构的协议，允许 LLM 应用程序（如 Claude、各种 IDE 等）通过标准化的接口访问外部数据和功能。
2025-03-13 10:00:00
631
原创 具身智能学习笔记
目前整个科技圈的大浪潮有两个，一个是由ChatGPT开始爆火的大模型浪潮，另一个就是大家目前看到几乎科技圈大厂都在卷的人形机器人，更广泛一点的称呼叫具身智能浪潮。具身智能的模式则存在一些不同，一般具身智能本体也会有传感器，比如视觉和语言等，结合到视觉信号、语音信息，机器人本体就能根据读取到的信息进行任务的分解和环境的理解，然后通过自己编程实现自己要完成的事情。这些模拟器通过收集真实世界的数据，创建高度逼真的3D场景，使其成为家庭活动中的具身智能研究的首选。
2025-03-12 10:00:00
1422
原创 指针的魔力：C语言中指针的10大应用场景与实战代码解析
指针变量是存放地址的变量，通过地址来访问普通变量，访问数组，访问函数，访问结构体等。这种访问方式有以下优点和作用。
2025-03-11 10:00:00
555
原创 【搭建框架必备基础】快速上手peft
在学习别人的开源框架的时候经常会看到peft，虽然知道这个可以加载模型，但是，不是还可以通过AutoModelForCausalLM.from_pretrained() 嘛，为什么还会有PeftModel.from_pretrained() ，本文将讲解这个问题的同时尽量搞懂peft的其他用法，以便我们记忆后快速上手而不至于只会照抄而不懂内涵。
2025-03-10 10:00:00
1671
原创 【MoE】一文搞定MoE架构知识
在探索最新的大语言模型（LLM）时，“MoE”这一术语频繁出现在各种标题之中。DeepSeek-V3便是一个实力强劲的混合专家（MoE）模型，其总参数量高达6710亿，且在处理每个标记（token）时，能够智能地激活约370亿的参数，实现高效计算。同样引人注目的还有Qwen2.5-Max，这一大规模MoE模型通过精心设计的监督微调（SFT）流程以及基于人类反馈的强化学习（RLHF）方法进行了后训练，大大提升了其性能与实用性。
2025-03-09 10:00:00
979
原创 基于 Python 的 ROS2 应用开发全解析
ROS2 相较于 ROS，在架构设计上进行了全面升级。它增强了实时性支持，采用了更先进的通信机制，如基于 DDS（数据分发服务）的通信框架，使得节点间的通信更加可靠和灵活。同时，ROS2 在跨平台能力上有了极大提升，能够更好地适配不同的操作系统和硬件平台，为机器人开发者提供了更广阔的施展空间。
2025-03-08 10:00:00
850
原创 多旋翼无人机理论 | 四旋翼动力学数学模型与Matlab仿真
给人最直观的感受就是 电机带动螺旋桨转，产生升力。螺旋桨旋转产生升力的原因，在很多年前伯努利就给出了解释，简单说就是流速大，压强小；流速小，压强大，也就是伯努利定理。可以看到螺旋桨的桨面并不是平的，旋转时桨面上下的空气流速不一直，会产生向上的推力。
2025-03-07 10:00:00
378
原创 多模态 LLM 的工作原理简述
多模态 LLM 是能够处理多种类型输入的大型语言模型， 多模态 LLM 可以接受不同的输入模态（音频、文本、图像和视频）并返回文本作为输出模态。多模态 LLM 的一个直观的应用场景是为图像生成描述，提供输入图像，模型会生成图像的描述。当然，还有许多其它应用场景。比如从 PDF 表格中提取信息并将其转换为 LaTeX 或 Markdown。
2025-03-06 10:00:00
853
原创 ROS应用之使用MPC控制机器人运动
在机器人控制系统中，运动规划与控制是核心任务之一。传统的控制方法如PID控制在复杂环境中可能无法满足精确的实时需求。近年来，模型预测控制（Model Predictive Control，MPC）作为一种有效的控制策略，已经在多种机器人应用中得到了广泛应用。MPC通过在每个时间步解决一个优化问题，考虑了系统的动力学约束，从而实现了精确的轨迹跟踪与路径规划。本文将介绍如何在ROS2环境中实现MPC控制，控制机器人在给定的目标位置之间进行平滑运动。
2025-03-05 10:00:00
1651
原创 机器人如何在家中精准找到移动物品？OpenIN技术揭秘
在日常环境中，给机器人一个导航指令，比如找一个正在被拿着的杯子，它不能只靠查询离线地图就了事。如果目标物品位置变了，机器人得启动一个策略性的探索过程。这就是研究中定义的 “日常场景中位移实例探索和导航任务”。
2025-03-04 10:00:00
911
原创 ROS应用之基于 Stable-Baselines3 训练 ROS2 机器人自主导航
强化学习（Reinforcement Learning, RL）为机器人导航提供了一种新的思路，使机器人可以通过与环境的交互不断优化策略，从而实现高效自主导航。
2025-03-03 10:00:00
966
原创 BiDex，一个低成本高灵巧的机器人双手操控系统
作为机器人领域的开发者，我们一直怀揣着一个目标：让机器人能像人类一样灵活地完成各种复杂任务。在这个探索过程中，我们面临着诸多挑战，而如何收集高质量的机器人操作数据，成为了实现目标的关键难题。那么，这篇文章将会来介绍由CMU带来的 BiDex技术。它有效地解决了这个问题。技术网站：。这些手套通过内置的 EMF 传感器能够较为准确地记录人类指尖的位置，为手部动作捕捉提供了新的思路。同时，在手臂跟踪方面，发现一些研究使用低成本的 3D 打印仿教师手臂模型来进行关节级别的远程操作，效果还不错。
2025-03-02 10:00:00
796
原创 从Diffusion Policy了解具身机械臂
本文介绍了 "扩散策略"，这是一种生成机器人行为的新方法，它将机，发现它始终优于现有的最先进的机器人学习方法，平均提高了 46.9%。Diffusion Policy 可以学习动作分布得分函数的梯度（gradient of the action-distribution score），并在推理过程中通过一系列随机朗之文动力学（stochastic Langevin dynamics）步骤对该梯度场进行迭代优化。
2025-02-28 10:00:00
471
原创 DeepSeek_R1训练FAQ精选
前面通过《快速了解DeepSeek_R1技术报告 》了解到R1的大致训练内容，但是这份报告并没有讲的很细，比如RL是如何进行的？为什么叫做冷启动？冷启动的内容和常规的SFT一样，为什么要另外起一个名字呢？等等细节本文将把重点的问题进行整理，作为FAQ呈现出来。
2025-02-27 10:00:00
794
原创 机器学习笔记 孪生神经网络综合指南
相似度学习是一种监督机器学习技术，其目标是让模型学习，这是一个相似度函数，用于测量两个对象的相似程度并返回相似度值。当对象相似时，返回高分；当图像或对象不同时，返回低分。现在让我们看一些使用相似性学习即一次性分类（孪生网络）的用例。
2025-02-26 10:00:00
1477
原创 机器人多模态大模型转换与量化
具身智能的概念可以追溯到1950年，图灵在论文《Computing Machinery and Intelligence》中提出机器像人一样能和环境交互感知，自主规划、决策、行动，并具备执行能力，是AI的终极形态。大模型时代，大模型作为机器人的“大脑”，多模态作为机器人的“小脑”，模型的训练和测试与云服务相结合，可以在云上虚拟仿真场景下，进行端到端的实时训练与测试，快速完成端侧迭代与开发，这就大大加速了具身智能体的进化速度。
2025-02-25 10:00:00
1551
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人