- 博客(28)
- 收藏
- 关注
RSS订阅原创 vla 系统学习
你之后会经常看到三类输出方式：连续动作、离散化动作 token，以及 trajectory/chunk，也就是一次预测未来好几步动作。VLA 的输入可能包括相机图像和你的语言指令，然后模型直接输出一串动作，例如机械臂末端位姿、关节角、夹爪开合等。这也是目前学习 VLA 时非常重要的工程视角：不要因为端到端模型很酷，就把机器人运动学、控制和规划都扔掉。当然，现实工程里通常不会真的把所有传统模块全部扔掉，安全控制、碰撞检测、底层控制等仍然很重要。另外，VLA 真正厉害的地方不只是“会抓东西”，而是希望获得。
2026-08-13 17:18:42
261
原创 局部控制算法
局部控制算法（又称局部路径规划与轨迹跟踪算法）处于自主导航架构的底层，负责根据传感器（激光雷达、深度相机等）实时感知的局部环境信息，在满足机器人动力学与物理约束的前提下，实时生成避障轨迹或直接控制命令（如线速度 $v$ 与角速度 $\omega$）。
2026-08-12 13:13:21
728
原创 全局规划常用算法
全局路径规划（Global Path Planning）是在（如栅格地图、矢量图或点云地图）与已知静态障碍物的条件下，寻找一条从起始点到目标点的无碰撞、满足特定约束（如最短距离、最低代价）的几何路径。在机器人和自动驾驶系统（如 ROS / Nav2 架构）中，全局规划器负责生成宏观拓扑轨迹，而局部规划器（Local Planner，如 DWA、TEB）则在此轨迹指导下实时避开动态障碍物并满足加速度等动力学限制。
2026-08-12 13:09:36
794
原创 运动规划常用算法
比如你的天轶人形机器人抓瓶子：已知机器人当前姿态 → 目标抓取位姿 → 生成机械臂关节轨迹 → 避障 → 平滑执行这整个过程就是运动规划。
2026-08-11 14:06:21
716
原创 强化学习理论转实践
强化学习理论↓Gymnasium↓↓PPO / SAC↓MuJoCo↓Isaac Lab↓机械臂 Reach↓机械臂 Pick↓Grasp↓视觉 + RL↓↓Sim2Real↓ROS2↓真实机器人Camera↓↓目标状态↓RL Policy↓Action↓ROS2↓机械臂这时候强化学习才真正进入你的机器人系统。
2026-08-10 17:43:53
167
原创 MediaPipe 学习以及使用
可以把它理解成一个“现成的人体视觉关键点提取器”。目前官方主推的是，Python 直接即可使用，支持 Windows、Linux、macOS，官方文档目前写的是 Python 3.9 及以上。：识别手部，还能判断左手/右手，并输出图像坐标和 3D world landmarks。：提取人体姿态，比如肩、肘、腕、髋、膝等，用来做动作模仿、人体跟随、遥操作。：人脸关键点、表情分析，可以做人机交互和机器人表情联动。：把脸、身体、双手一起检测，一共可以输出。
2026-08-10 17:36:18
264
原创 机械人学习 day 15
肘部 -80~-100° 系统性跟踪滞后 ~0.15-0.24 rad → 容差 0.30。- 检测稳定性:多帧投票聚类(替代单帧闪烁)+ 深度门限(0.3~1.4m)排除背景误检。- IK 跳分支检测(手掌离直线 11.4cm 的"收缩"消除)+ 链截断 + 候选重试。~2cm(与卷尺互验:肩 1.17m、镜头 1.44m、镜头→瓶 74cm 全部吻合)- 手掌朝向硬约束:侧抓手掌必须水平朝身体(修复"手腕反转 180°"和"手掌朝下")- 瓶子推倒:根因是张开的手指是"矛"指向瓶心。
2026-08-06 19:03:08
175
原创 机械人学习 day 14
碰撞模型:vendor STL 数据污染(±0.5/±1/±99 多层垃圾顶点)+ 网格巨大(单文件 39。- 拼接连续:倒推链(从抓取构型反向走直线)→ RRT 关节空间目标(容差 0.002 rad)→。- 臂长:你量肩→指尖 85cm,URDF 缩放 1.043(0.677→0.70m reach)- 侧抓完整轨迹已生成:RRT 41 点(3.97s)+ 直线 21 点(5.0s),总。- 你要侧抓 → 加侧抓候选(直立瓶补水平接近)+ --side 模式。
2026-08-05 19:26:23
146
原创 机械人学习 day 13
实现自主抓取策略生成，由固定抓取升级为候选抓取评估模式，可根据物体姿态生成多种抓取方案，并结合可达性、碰撞、关节限制进行筛选，输出机械手位姿及手指动作。在 x86 主控端部署轨迹桥，实现 ROS 运动轨迹到机器人电机指令的转换，支持轨迹下发、误差检测、异常停止和运动取消等安全机制，完成真机验证。排查机器人视觉定位误差问题，确认相机无异常，修正机器人基准坐标参数，使视觉坐标与机器人实际空间位置一致。已打通机器人“感知—规划—显示—执行”完整链路，实现自主抓取基础能力。明天打算开始做运动规划。
2026-08-04 18:32:10
250
原创 机械人学习 day 12
MAD（Median Absolute Deviation）异常值剔除方法，减少错误数据影响；基于 SE(3) 李群空间的非线性优化，对旋转和平移参数进行进一步精修。原程序中残差计算错误，导致优化过程中残差始终接近全局平均值，无法有效优化参数。以上代码均为ai实现，自己提供思路 ，然后ai执行+规划。，证明当前视觉坐标转换链路能够满足机器人抓取任务需求。修改后采用真实位姿误差作为优化目标，提高优化有效性。原程序中角点数量限制过低（4个），导致部分情况下。优化方法，使优化过程能够结合异常值抑制。
2026-08-03 20:21:13
203
原创 机械人学习 day 10
git remote add origin https://github.com/用户名/仓库名.git。实际操作中，发现自己其实学的东西很少很少了，主要做的是理论如何转化为实践，理论与实际中有什么不同。太耗时间了，机械人这里出点小毛病，那里又出现点小毛病，Dbug 得好长时间。然后今天做了一下手眼标定，但是结果不是很满意，明天可能需要重新做一遍。除此之外，今日还学习了一下计算机与人脑方面的知识。
2026-08-01 19:56:26
175
原创 人型机械人手眼标定（两种方法总结）
每次把头摆到一个姿态，停下来等画面稳定，然后记录两样东西：第一样，头部安装座在 base 系里的位姿，这个直接从 TF 树里查，base 到 camera_head_link的变换；第二样，相机看到的标定板在相机坐标系里的位姿，这个是靠左相机内参，对图像里检测到的整板角点做 PnP 解出来的。你的相机装在头部，头部有三个关节，yaw、pitch、roll，所以头部就是一个能动的"手"。这个方法的好处是：机械臂的活动范围大得多，六个自由度的姿态随便摆，方程条件好，理论精度通常更高；
2026-08-01 16:52:47
221
原创 机械人学习 day 9
复习的知识点为：行为树，全局规划和局部控制，粒子滤波原理，迪杰斯特拉算法，Hybrid -A，A*，RPP，MPPI，Voxel Lader ,Footprint ,infaction radius ,代价地图等等。除此之外，今天测试 Gemini 215 相机，下载好官方的驱动文件，并用Ultralytics 官方提供的pt 文件，成功识别到水瓶了，并保持帧率在45-60之间。好的，今天虽然学的不多，但是我也是不在像以前一样像个一白一样迷茫，几乎一问三不知，至少目前我可能还会打上来一点。
2026-07-30 20:22:29
188
原创 机械人学习 day 8
随后进入Grasp Planning阶段，根据物体几何信息生成相对于物体的抓取姿态（Grasp Pose），再通过坐标变换得到机器人末端执行器在base_link下的目标位姿，最后由IK和运动规划完成执行。但是这里有一个问题是灵巧手抓住物体是在什么阶段开始的，经过学习后，才知道，它几乎跨越了抓取规划和运动规划，最终在执行阶段真正开始。另外是谁负责生成抓取位姿呢，主要是由GraspNet负责，它并不是负责生成一个，而是生成多个，经过评分选择最高的那个抓取规划位姿。（这里可能需要3D打印机和刚性转接板）
2026-07-29 20:02:22
192
原创 Dexterous Grasp Generation --灵巧抓取生成
当前机器人领域最难的问题之一：AI 能不能直接从视觉生成灵巧手动作？答案：可以，AI模型正在解决这个问题，但目前还没有完全替代传统方法。现在工业和科研中通常采用“AI生成 + 优化约束 + 控制反馈”的混合方案。这个方向现在已经有很多论文和开源研究在做，但“任意机器人手、任意物体、一次成功”的通用模型目前还没有完全解决。
2026-07-29 13:47:54
208
原创 机械人学习 day 7
机械人base_link知道手臂末端的坐标 ，相机知道物体的坐标，但是机械人不知道物体的坐标，两者为两个世界，因此，做相机标定的目的，就是知道手臂末端与相机的位置关系 （这里相机绑在手上做的，当然也有相机在头部做的），经过TF变换，物体相对于base_link 的坐标就知道了。六维力：既然引出位姿了，这里多解释一下，比如，抓一个杯子有成千种抓法，可以上抓，左抓，斜抓等等。DH参数法，齐次变换矩阵，雅可比矩阵，四元数 等等 知道这些哪些环节用到的，解决了什么问题即可，具体怎么算的，我不做深究。
2026-07-28 20:38:46
211
原创 机械人学习 day 6
1.当机械臂快速移动时，出现抓不稳，放不稳的情况，深究发现，原来官方的差分IK算法，并没有深入的考虑到重力以及加速度的影响，机械臂始终保持稳定的速度去pick and place ，整体看起来很平滑。2.用RMPflow 抓取物体发现失败了，出现好多问题，机械臂本身碰撞，机械臂与地面碰撞，机械臂并没有碰撞，机械臂运动起来出现卡顿，抓取物体失败等等。方块位置在哪里定义？后续我可以更新一下issac sim UI界面的使用教程，这里基础的你们看其他博主，她们肯定比我讲的好，我会更新一些我一些理解用法。
2026-07-27 20:21:31
223
原创 机械人学习day 5
NumPy，Pandas，Matplotlib，Scikit-learn，PyTorch，TensorFlow，OpenCV，Transformers，对于这些库一定要知道这是干什么的，有什么用，如果需要深究可以问一下ai。今天终于搞定ros 与issac sim 通信了，能够在rviz中进行一个简单的planning ,issac sim也跟着一起动了，这里其实不难，写一个brideg 可以搞定了。首先你去抛开他的源码，你去修改方块的初始位置和末端位置，测试成功。输入设备，例如键盘、手柄、传感器输入。
2026-07-25 19:56:51
191
原创 机械人学习 day4
除此之外，我还学习了Example Movelt 里的Franka Panda，这个机械臂应该够我们这些小白，做RL也好，学会怎么做issacgraph 也好，学习与ros2通信也好，都是一个非常好的例子。今天学习了官方提供的TurtleBot3 ，并且新建一个xTF 下增加雷达，创建好的雷达放到base_link 下，可以开启雷达可视化，有一个直观的效果。首先跟着教程，自己建立一个小车，将两个圆柱轮子设置速度和阻尼 之后，我的第一个会动的仿真小车产生了。了解了属性Property 的用途。
2026-07-24 19:55:04
168
原创 机械人学习 day 3
谁不想年少有为，但我保持绝对理智，我拿出500左右试一下水，我不会因为这个失败或者成功就脱离我的主线，我仍会坚持去学习，靠的是一点一点的努力拿到这些，也许30年，也许50年。对issac sim 仿真平台有一个初步的认识，会导入URDF，STEP，STL ，添加相机，添加传感器，改变环境，改变颜色等等。今天初入理财，我看着其他00后的已经存款100w，这真的很夸张，也很羡慕。除此之外，今天学习了一下相机标定，并且了解了相机标定与手眼标定的区别。不过，总有一天，当我回头再看这篇帖子时，我相信我已经做到了。
2026-07-23 17:59:22
159
原创 机械人学习day 2
主成分析法，正则化方法，关联规则挖掘，激活函数，损失函数，CNN，RNN，注意力机制和特征工程，Transform ，扩散模型，生成对抗网络，自监督学习，动态规划，元强化学习和逆强化学习，深度强化学习等等。今天搞了一小会的仿真，但是不知为什么深度相机始终采集不到数据 ，我的RGB相机完好，就只有深度相机一直报错 ，仿真平台issac sim 按道理说一个深度相机很轻松的，大概率是我软件的问题。深度学习：特征都不给予，需要通过CNN自己提取特征，并经过一些列操作，比如 归一化，池化，正则化等等找出规律。
2026-07-22 19:42:51
176
原创 机械人学习 day 1
今天学习了机械臂抓取物体，目前实现的是在issac sim 中导入机械人的urdf ，并且给机械人加入了深度相机和RGB相机，目前遇到的问题是，深度相机一直无法捕获成功，并且有时候issac sim崩溃。关于专注于做ppt 的智能体，调用是deepseek v4的api ，并且用上一些开源的skills ,目前整体有一个雏形，但还未实现ppt美观效果。大致总结一下流程为：视觉识别-> 6D Pose评估 -> 抓取位姿生成 ->IK求解-> RRT避障 -> 笛卡尔直线抓取 ->轨迹规划。
2026-07-21 19:56:16
250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人