（四）3D视觉机器人的手眼标定（眼在手外）

boss-dog

已于 2024-12-01 22:29:50 修改

阅读量2.1k

点赞数 33

分类专栏：手眼标定文章标签： 3d 机器人手眼标定

于 2024-11-24 20:05:27 首次发布

本文链接：https://blog.youkuaiyun.com/qq_45445740/article/details/144011219

版权

手眼标定专栏收录该内容

10 篇文章

订阅专栏

内容

1.背景介绍
2.操作流程

1.背景介绍

3D视觉机器人指的是机器人通过3D相机提供的3D点云视觉信息，完成某些实际的功能。
目标是将场景信息从相机坐标系变换至机械臂坐标系中，最终是获得相机到机械臂基座的空间变换矩阵。
下面以眼在手外标定为例：

在这里插入图片描述
上图中，相机④固定在工作空间中，标定板③被固定在机械臂末端②上，为了做手眼标定在末端上固定一个标定板。
标定过程中标定板③和机械臂末端②固定位姿不变，由上图可知，相机④和机械臂基座①的相对位置不变，然后通过示教器控制机械臂带着标定板③在不同的位姿下进行拍照，拍照的过程中保存当前拍到的标定板图片以及记录图片对应示教器上的世界坐标。
眼在手外标定的目的是求出相机④坐标系到机械臂基座标系①的变换矩阵。

1.1 思路

在这里插入图片描述
眼在手外标定可以理解为上述坐标系转换的关系，其中③可由机械臂示教器上的数值直接获取，④由于是固定不变的，后面可通过计算进行消除。目标是求出相机相对于机械臂基座坐标系的位姿。

T_target_to_cam求解

T_target_to_cam可以理解是齐次矩阵，是由R_target_to_cam（旋转矩阵）和平移向量t_target_to_cam组成。
在这里插入图片描述
其中R_target_to_cam（旋转矩阵）可以由三个单位向量来表示，下面需要建立这个单位向量。

这里使用的标定板是棋盘格标定板，可以通过OpenCV中的函数寻找到棋盘格上的每个角点像素坐标系，以左上角第一个角点作为原点，和右上角的角点相连作为X轴正方向，和左下角的角点相连作为Y轴正方向，计算它们的单位向量Vx和Vy，Vz可由Vx和Vy叉乘得到。（由于不能保证Vx和Vy是相交的，可以在Vx和Vy叉乘后得到Vz，再由Vx和Vz叉乘得到新的Vy，这样就能保证Vx和Vy是相交的）
在这里插入图片描述

PS：这里选择右上角的角点和左下角的角点，和原点相连是为了提高精度。

因为使用的是3D相机，可以知道左上角角点的像素坐标和深度信息，通过相机内参将像素坐标转换为实际物理坐标（相机坐标系下），则t_target_to_cam平移向量可以得到。

公式求解

在这里插入图片描述
上面的公式中，①可以通过上面的方法求解，③是已知值，将等式两边左乘T_base_to_cam逆矩阵和T_end_to_base逆矩阵，可以将T_target_to_end单独放在等式右边，输入两组值，由于目标（标定板相对于机械臂末端的位姿关系固定）T_target_to_end相等，可以将两组值直接相等，去除T_target_to_end。