Mediapipe 手势模型转换rknn

原创 2022-09-29 11:29:32 4.8k 阅读 AI写同款

江太翁

271粉丝141篇原创

关注

将 MediaPipe 手势识别迁移到 RKNN：从 .task 到 RK3566 实战手把手教你将 MediaPipe 手势识别 .task 拆分为四个 TFLite，并用 RKNN Toolkit2 转换与量化，部署到 Rockchip RK3566 NPU；覆盖常见报错修复、推理管线与实时示例，快速实现低功耗高性能的边缘 AI 手势识别。阅读详情

AI摘要

本文档介绍了如何将 Mediapipe 手势识别模型在低端设备 RK3568 上进行优化，特别是针对 GPU 占用高的问题，探讨了使用 NPU 进行推理的可能性。通过 tflite 模型转换为 rknn 模型的步骤，包括环境配置、模型加载、预处理、模型构建、导出以及推理过程，展示了在 RKNN 工具kit21.3.0中进行转换的具体代码。此外，还提供了模型推理的输出示例和数据格式，以及手部关键点检测的21个关键点信息。

mediappipe手势模型低端设备 RK3568推理 GPU 占用比较高尝试3568平台NPU 进行推理

一下进行 tflite模型转换 rknn模型

手部坐标模型图在这里插入图片描述

准备rknn-tookit2 1.3.0以上环境

进入 t@ubuntu:~/rknn/rknn-toolkit2/examples/tflite$ 目录

参照 mobilenet_v1 demo 转换hands模型

copy mobilenet_v1 demo 重命名 mediapipe_hand

cd /rknn/rknn-toolkit2/examples/tflite/mediapipe_hand$

修改 test.py 加载模型及输入图片资源

import numpy as np
import cv2
from rknn.api import RKNN

#import tensorflow.compat.v1 as tf #使用1.0版本的方法
#tf.disable_v2_behavior() #

def show_outputs(outputs):
    output = outputs[0][0]
    output_sorted = sorted(output, reverse=True)
    top5_str = 'mobilenet_v1\n-----TOP 5-----\n'
    for i in range(5):
        value = output_sorted[i]
        index = np.where(outpu