Opencv学习项目4——手部跟踪

数码管大王Armitage

已于 2025-05-25 04:57:57 修改

阅读量929

点赞数 10

分类专栏： opencv入门项目文章标签： opencv 学习人工智能

于 2024-07-26 20:54:20 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_72749746/article/details/140724248

版权

opencv入门项目专栏收录该内容

10 篇文章

订阅专栏

主要是使用opencv和mediapipe库来实现手部跟踪，首先我们先介绍一下mediapipe库

mediapipe库介绍

MediaPipe 是一个由 Google 开发的开源框架，用于构建基于机器学习的应用程序，特别是涉及实时数据处理和传感的应用。它提供了一套工具和库，使开发者可以轻松地构建复杂的多媒体处理流水线，包括视频处理、姿态估计、手势识别、对象追踪等。

主要特点和功能：

模块化设计： MediaPipe 的设计非常模块化，允许开发者通过组合不同的处理单元（称为计算单元）来构建复杂的处理流水线。
跨平台支持： 支持在多种平台上运行，包括桌面操作系统（如 Windows、Linux、macOS）和移动操作系统（如 Android、iOS）。
预构建计算单元： 提供了大量预构建的计算单元，涵盖了从图像处理到深度学习模型应用的多个领域，开发者可以直接使用这些计算单元来加速开发进程。
高效的媒体处理： MediaPipe 针对实时处理进行了优化，能够在设备上高效运行，适用于需要低延迟和高帧率的应用场景。
开放的模型架构： 允许开发者集成自定义的机器学习模型和算法，以满足特定需求。
易于集成： 提供了多种语言的 API，包括 Python、C++ 等，使得开发者可以选择最适合自己项目的编程语言。

主要应用领域：

实时手势识别和跟踪： 如手部关键点检测、手势识别等。
人体姿势估计： 检测和跟踪人体的姿势和动作。
对象检测和跟踪： 识别和跟踪视频中的特定对象。
面部检测和跟踪： 如面部表情识别、人脸关键点检测等。
AR（增强现实）应用： 在实时视频中叠加虚拟物体或效果。
视频分析和处理： 包括实时分割、稳定化、滤镜应用等。

在手部识别中，有三行重要的代码

mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils

首先导入了 MediaPipe 库中的手部检测模块，然后使用模块中的 Hands 类来创建一个手部检测器对象 hands，最后导入了 MediaPipe 提供的绘图工具模块

import cv2
import  mediapipe as mp

cap = cv2.VideoCapture(1)
mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
    #对RGB图像进行手部检测
    results = hands.process(imgRGB)
    print(results.multi_hand_landmarks)
    cv2.imshow("image", img)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

看一下我们的代码，首先是我们前面介绍的那三行重要代码，不过现在mpDraw还没用到，然后我们对图像格式进行转换，对RGB图像进行手部检测，multi_hand_landmarks包含检测到的所有手部的关键点信息，下面我们介绍一下multi_hand_landmarks

multi_hand_landmarks介绍

results.multi_hand_landmarks 是从 MediaPipe 手部检测器返回的结果对象中的一个属性。让我解释一下这个属性的含义和用途：

属性解释：

属性名称： multi_hand_landmarks
属性类型： 列表
含义：

这个属性包含了检测到的多个手部的关键点信息。每个检测到的手部都由一个 landmark landmarks` 对象来表示，这个对象包含了手部的关键点坐标。
结构：如果没有检测到任何手部，results.multi_hand_landmarks 将返回 None 或者空列表 []。如果检测到了手部，则每个元素都代表一个检测到的手部。每个手部都由一系列的关键点（landmarks）组成，这些关键点描述了手部在图像中的位置。每个关键点通常是一个具有 x、y、z（可选）坐标的对象或元组，表示了手部的特定部位，如手指尖、手掌中心等。