leo0308的博客

首先空间中的一点由世界坐标系转换到相机坐标系 ，然后再将其投影到物理成像平面 ( 成像平面坐标系 ) ，最后再将成像平面上的数据转换像素坐标系。相机内参表达的就是这三个坐标之间的转换关系， 而相机外参表达的是相机与世界坐标系之间的转换关系。常用求解PnP 的方法，即已知多个点， 在像素坐标系的二维坐标， 和在世界坐标系的三维坐标，并且已知内参， 求解旋转平移矩阵。外参标定的核心是：已知多个点分别在相机坐标系下的坐标和在世界坐标系下的坐标， 求它们之间的映射关系。， 在相机坐标系下的坐标为。

LieGrasPFormer 生成 256 个抓取配置及其对应的抓取质量，并通过碰撞检测筛选出无碰撞且抓取质量高的配置进行抓取细化。在 PyBullet 环境中，展示了不同初始机器人关节配置下的抓取结果，验证了 LieGrasPFormer 能够生成多样化的抓取配置，满足各种初始抓取配置，适用于运动规划。假设预测的抓取质量遵循高斯分布，预测的抓取配置越接近真实抓取配置，抓取质量越高。其中，cj,gcj,g​表示在抓取点qjqj​处的抓取质量，qgqg​表示真实抓取点，δδ是高斯分布的标准差。

通过构建大规模的 6DTG 数据集和提出任务导向点选择及任务引导抓取姿态检测模块，OSTG 方法在多个指标上显著优于现有方法。：首先，构建了一个大规模的 6自由度任务导向抓取数据集（6DTG），包含 4391 个杂乱场景和超过 200 万个 6自由度抓取姿态。去除任务导向点选择模块后，点特征在二维空间中混合，而使用完整模型的点特征则按对象标签分组，表明模型在点特征空间中学习到了区分不同对象的区域。：在选定的任务导向点基础上，提出了一种任务引导的抓取姿态检测模块，直接检测任务导向的 6自由度抓取旋转。

这篇论文提出了一种灵活的 6-Dof 抓取检测框架 FlexLoG，通过局部抓取模型和灵活引导模块，能够处理场景级和目标导向抓取。：在 GraspNet-1Billion 数据集上，FlexLoG 在相似和新颖的分割上分别实现了 10.4/9.83 和5.73/3.89 的性能提升，优于现有方法。：FGM 能够兼容全局（如抓取热图）和局部（如视觉定位）引导方法，生成高质量的抓取。LoG 采用基于 PointMLP 的轻量级编码器结构，通过三个专门的头部（碰撞头部、方向头部和偏移头部）预测抓取的各种属性。

这篇论文提出了一种新的端到端 6-Dof 抓取姿态检测框架，通过全局到局部和语义到点的方案，在两个代表性数据集上实现了最先进的性能，且比所有现有方法快得多。尽管该框架是单视图和开环的，限制了其在更复杂场景中的应用，但未来的工作将利用其进行闭环抓取检测，使机器人能够调整预测的抓取姿态并响应环境变化。：在 UR-5e 机器人上进行的实验表明，HGGD 能够成功应用于真实世界，生成高质量的抓取，成功率高达 94%，杂乱完成率为 100%。：该模块利用 GHM 生成的热图作为指导，聚合局部点云并检测抓取。

首先，定义了两种抓取性分数：点抓取性分数SpSp和视图抓取性分数SvSv。点抓取性分数表示每个点的抓取可能性，视图抓取性分数表示每个视图的抓取可能性。

朝右的方向为x轴正向， 朝下的方向为y轴正方向， z 轴垂直纸面向里。4个角点的坐标定义如下图所示。

在VLA这个领域， 比较著名的工作当数谷歌的RT系列， 有RT-1， RT-2, RT-X等等。但是RT系列没有开源代码， 想要复现还是有难度的。最重要的是， 没有提供fine-tune的方法， 无法根据自己的需要进行微调。现在大模型已经卷到了机器人领域。在视觉语言模型（VLM）的基础上， 加入机器人的动作（Action) 这一模态， 视觉语言动作大模型（VLA）是目前大模型应用于机器人的流行方法。

作者的实验结果也表明， 在数据孪生场景中训练的机器人策略， 在分布内表现很好， 在分布外表现就差很多， 说明泛化性不足。而在数字表亲上训练的策略， 在分布内和分布外都有比较好的额表现。带来的结果就是， 数字孪生的生成十分昂贵， 而数字表亲的生成就便宜多了。并且由于数字表亲生成的是类似场景， 泛化性上会好很多。数字孪生致力于精确重现真实的物理空间， 而数字表亲只是生成与真实物理空间类似的场景。都是数字化物理空间的一种手段， 目的是为了模拟真实的物理空间。数字表亲这一概念最近由李飞飞团队提出， 引起了热议。

我们通过机械臂控制关节末端到这个位置，但这不是我们期望的， 我们希望机械夹爪移动到(x,y,z)这个位置。这个时候就需要对机械夹爪进行标定， 找到机械夹爪到基坐标的转换关系，这样我们就能控制机械夹爪到(x,y,z)这个位置。我们通过目标识别等手段得到目标的位置后， 是希望工具移动到对应的位置进行操作， 而不是让机械臂末端移动到对应位置。这个时候就需要对工具进行标定， 以便得到工具在机械臂基座系下的坐标。在实际使用机械臂时， 我们通常会在机械臂末端装上各种工具去完成特定的任务， 如机械夹爪， 灵巧手等。

首先明确坐标系：机械臂项目一般存在四个坐标系基坐标系：机械臂的基座为原点的坐标系末端关节坐标系：一般机械臂末端关节会覆盖一层法兰，因此机械臂末端关节坐标系又为法兰末端坐标系，实际上，末端关节坐标系在基坐标系下的位姿，就是我们常说的机械臂位姿工具末端坐标系：显然机械臂在工作过程中，机械臂末端会搭载工具，而我们往往希望工具移动到某个位置，而不是机械臂末端运动到某个位置，这时我们就需要为工具建立一个它自己的坐标系，也就是工具末端坐标系相机坐标系：相机定义的坐标系。要区别于图像像素坐标系。

首先明确坐标系：机械臂项目一般存在四个坐标系基坐标系：机械臂的基座为原点的坐标系末端关节坐标系：一般机械臂末端关节会覆盖一层法兰，因此机械臂末端关节坐标系又为法兰末端坐标系，实际上，末端关节坐标系在基坐标系下的位姿，就是我们常说的机械臂位姿工具末端坐标系：显然机械臂在工作过程中，机械臂末端会搭载工具，而我们往往希望工具移动到某个位置，而不是机械臂末端运动到某个位置，这时我们就需要为工具建立一个它自己的坐标系，也就是工具末端坐标系相机坐标系：相机定义的坐标系。要区别于图像像素坐标系。

在机器人仿真中， 经常会用到键盘控制程序teleop_twist_keyboard 对机器人进行控制。但是对各个键值是何种含义， 如何操作并没有任何资料介绍。初次使用时会不知所措。j逆时针转 k停止 l顺时针转。u左前 i直行前进 o右前。m左后 ，直行后退 .右后。

入门机器人最常见的应用就是slam建图和导航，本文将详细介绍这一流程， 便于初学这快速上手。首先对需要用到的软件包就行简单介绍。turtlebot3: 是一个小型的，基于ros的移动机器人。学习机器人的很多示例程序都是基于turtlebot3。Cartographer： 是一个流行的slam建图工具包。Nav2： 是一个流行的导航工具包。gazebo: 是一个基于ros的物理仿真平台。

在使用相机的视觉任务中，我们总是听到相机标定这个词， 那么相机标定到底是干什么， 为什么要进行相机标定呢?常用的相机标定方法又有哪些呢？本文试图从这几个方面来详细解释相机标定。与其他的文章不同， 本文抛开繁琐的数学公式以及成像几何原理， 用通俗易懂的方式来解释。