影像伺服

影像伺服的应用

影像伺服是通过使用输入的可视化数据，对机器人的行为做相应控制的过程。

其主要的应用范围为以下的3点

• 模型误差，例如运动学
• 执行误差，例如有误差的机器人关节定位
• 场景监控，例如碰撞检测

系统构建

• 手相机，相机被安装在机械臂上，并随着机械臂的移动，相机的位置也受到相应的影响
• 额外（固定）相机系统，观察运动的过程

方法

• 基于位置的影像伺服：PBVS，较为简单的控制器但是不适用于3D 重构（昂贵）
• 基于图片的影像伺服：IBVS，特征提取较为简单，有着复杂的控制规则。
• 混合方法：类似于2.5D影像伺服

基于位置的影像伺服

1. 给定目标位置 Xg
2. 估计当前目标对象以及机器臂在3维坐标中的位置Xc
3. 给定规则：笛卡尔差 Delta X = Xg - Xc
4. 执行笛卡尔控制器得到差
5. 到达目标：差小于设定阈值

基于图像的影像伺服

机械臂的运动通过图像特征中现在的位置和目标位置获得。

图像特征：图像特征提取的图像处理方法，是3维空间中点在相机图像中的投影。

规则：通过现在和希望的特征状态获得预定速度。

损失函数为相机图像中的当前点坐标和期望的目标点坐标的差。

相互作用矩阵：描述了图像特征和相关的3维坐标点运动的关系。通过投影规则（小孔相机模型）可以得到相互作用矩阵的具体数学公式。如图相机投影

逆作用矩阵：预估距离，观察多特征。例如相机在机械臂上的模型系统，3维点的运动和相机的运动一致。因此可以得到相应的矩阵表达式。从图片特征中计算出相机的输入。

例子

卡尔斯鲁厄ARMAR 3 的影像伺服

抓取和操作任务

基于位置的影像伺服

• 模型
• 对象定位
• 手定位

传感器

• 力和接触点
• 相机
• 内部传感器