1 编写背景
在2024年的高效智能创意大赛中,有一个手势识别的任务,需要通过四足机器人的摄像头识别手势然后做出相应动作。在这我将介绍我的手势识别的思路和相关代码,已记录我那2024.7.21死去的比赛。
2 任务要求
比赛规则如下:
3 问题分析与解决
3.1 MediaPipe介绍
MediaPipe 是一款由 Google Research 开发并开源的机器学习模型应用框架,专门用于实时流媒体的多模态处理。Mediapipe hand库内置了已经训练好的手部检测和关键点识别模型,这些模型由Mediapipe团队使用大规模标注数据进行训练和优化,确保了高精度和高效能,开发者在使用时无需再进行模型训练,只需调用相关API即可实现手部检测功能。
此外,Mediapipe还训练了获取手部21个地标的模型。这21个地标是预定义好的,具体位置如下:
(1)手腕(1个地标):
0: 手腕
(2)拇指(4个地标):
1: 拇指根部
2: 拇指第一个关节
3: 拇指第二个关节
4: 拇指指尖
(3)食指(4个地标):
5: 食指根部
6: 食指第一个关节
7: 食指第二个关节
8: 食指指尖
(4)中指(4个地标):
9: 中指根部
10: 中指第一个关节
11: 中指第二个关节
12: 中指指尖
(5)无名指(4个地标):
13: 无名指根部
14: 无名指第一个关节
15: 无名指第二个关节
16: 无名指指尖