23、基于面部手势控制的低成本用餐辅助机械臂系统

基于面部手势控制的低成本用餐辅助机械臂系统

1. 背景与问题提出

在全球范围内，无法自主进食的人群数量不断增加，这一现象因人口老龄化和残疾人口的持续增长而愈发严重。为这些老人和残疾人寻找合适的进食解决方案迫在眉睫。此前，人们在这一领域进行了诸多尝试，但问题仍未得到有效解决。

常见的控制辅助进食机械臂的方法存在诸多问题，如使用按钮或操纵杆控制，因无法自主进食者手部活动受限而不可行；基于眼动的控制方法不稳定；基于EOG、EMG和EEG信号的方法需要佩戴昂贵且笨重的硬件设备，还需他人协助，违背了研究初衷。同时，以往研究中辅助进食机械臂多以勺子为末端执行器，只能针对单一细颗粒食物或糊状食物，与普通人的饮食习惯不符，且研究者应尽量避免使用昂贵硬件设备。

2. 系统概述

系统的实验平台由6自由度桌面机械臂Lzbot及其控制系统，以及图像采集和视觉感知系统组成。两个USB摄像头和交互式屏幕连接到主机PC，Camera 1负责采集食物图像，Camera 2负责采集人脸图像，交互屏幕显示末端摄像头的图像，确保机械臂和用户视角统一。主机负责处理图像数据，获取食物信息和用户意图并发送给PCB，PCB生成相应控制信号给每个电机。

Lzbot是实验室开发的低成本6自由度机械臂，六自由度确保了足够的空间和灵活性，60kg模拟电机提供了充足的动力和精度。双机械臂和桌面机械臂的组合结构设计使用平行四边形连杆稳定末端方向，便于控制。末端安装了USB摄像头，其视野与机械臂活动空间一致。机械臂的控制电路PCB基于GD32（主MCU）设计，并封装了相应驱动。

系统的控制流程分为三个主要阶段：基于yolov5的实时食物检测、基于面部姿势的用户意图检测以及基于