基于Mediapipe的Python手势识别项目(手势识别游戏）附项目源码

原创

已于 2023-03-05 15:08:56 修改 · 2.6k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#游戏 #人工智能 #计算机视觉 #python

于 2023-03-05 13:47:15 首次发布

本文介绍了一个使用Mediapipe库进行手势识别的游戏应用。游戏中，玩家需通过握拳手势来捕捉屏幕上的蚊子得分，同时避免蜜蜂。代码包括手势检测、图像处理和游戏逻辑，涉及Python、OpenCV和Pygame等技术。

运行效果

基于Mediapipe的手势识别，完成的手势识别游戏。运行效果图如下：

首先是初始的界面效果图：

游戏规则：屏幕上会出现蚊子和蜜蜂，当手蜷曲握起时，表示抓的动作。如果抓到右边移动的蚊子，则会增加分数，如果抓到右边的蜜蜂，则会出现被蛰到的声音：）

代码介绍

调用Mediapipe，定义与手势识别有关的类：

这里完成了对图片镜像的翻转，在图上画出手势线条，并对手势的握起状态逻辑进行判断。

import cv2
import mediapipe as mp
from settings import *
import numpy as np
mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_hands = mp.solutions.hands



class HandTracking:
    def __init__(self):
        self.hand_tracking = mp_hands.Hands(min_detection_confidence=0.5, min_tracking_confidence=0.5)
        self.hand_x = 0
        self.hand_y = 0
        self.results = None
        self.hand_closed = False


    def scan_hands(self, image):
        rows, cols, _ = image.shape

        # Flip the image horizontally for a later selfie-view display, and convert
        # the BGR image to RGB.
        image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)
        # To improve performance, optionally mark the image as not writeable to
        # pass by reference.
        image.flags.writeable = False
        self.results = self.hand_tracking.process(image)

        # Draw the hand annotations on the image.
        image.flags.writeable = True
        image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

        self.hand_closed = False

        print(self.results.multi_hand_landmarks)

        if self.results.multi_hand_landmarks:
            for hand_landmarks in self.results.multi_hand_landmarks:
                x, y = hand_landmarks.landmark[9].x, hand_landmarks.landmark[9].y

                self.hand_x = int(x * SCREEN_WIDTH)
                self.hand_y = int(y * SCREEN_HEIGHT)

                x1, y1 = hand_landmarks.landmark[12].x, hand_landmarks.landmark[12].y

                if y1 > y:
                    self.hand_closed = True

                mp_drawing.draw_landmarks(