MediaPipe plugin for Unity

最新推荐文章于 2025-06-08 09:22:11 发布
最新推荐文章于 2025-06-08 09:22:11 发布
阅读量6.5k 收藏 23
点赞数 2
CC 4.0 BY-SA版权
分类专栏： u3d
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dilly123/article/details/112348025
本文介绍如何在Unity中使用Google的MediaPipe库实现手部追踪功能，并提供官方示例的修改教程，涵盖Face Detection、HandTracking等。通过官方Demo测试不同图形处理算法在CPU和GPU上的表现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

google/mediapipe

https://github.com/google/mediapipe

This is a Unity (2019.4.10f1) Plugin to use MediaPipe.

Example Graphs

  • Hello World!
  • Face Detection (on CPU/GPU)
  • Face Mesh (on CPU/GPU)
  • Iris Tracking (on CPU/GPU)
  • Hand Tracking (on CPU/GPU)
  • Pose Tracking (on CPU/GPU)
  • Hair Segmentation (on GPU)
  • Object Detection (on CPU/GPU)
  • Official Demo (on CPU/GPU)
    • Edit official_demo_cpu.txt (or official_demo.gpu.txt) and you can test your favorite official graph (if only it can be run on your platform)

https://github.com/homuler/MediaPipeUnityPlugin

 

 

Unity Hand Tracking with Mediapipe

 

https://github.com/TesseraktZero/UnityHandTrackingWithMediapipe

 

https://github.com/TesseraktZero/mediapipe_multi_hands_tracking_aar_unity

 

 

mediapipe 数据驱动 Oculus Hands 手部模型
L2741010911的博客
02-29 1177
mediapipe 驱动三维模型
MediaPipeUnityPlugin：运行MediaPipe图形的Unity插件
02-06
MediaPipe Unity插件 这是一个使用MediaPipe的Unity（2019.4.18f1）插件。 平台类 Linux桌面（在ArchLinux上测试） 安卓 的iOS macOS（仅CPU） Windows 10（仅限CPU，实验性） 先决条件 MediaPipe 请确保安装必需的软件包，并检查是否可以在计算机上运行官方演示。 OpenCV 默认情况下，假定OpenCV 3安装在/usr （例如/usr/lib/libopencv_core.so ）。 如果您的版本或路径不同，请编辑和 。 .NET核心 该项目使用协议缓冲区与MediaPipe进行通信，并且必须安装.
MediaPipeUnityPlugin v0.16.0版本深度解析：OpenCV升级与任务API优化
最新发布
gitblog_01399的博客
06-08 292
MediaPipeUnityPlugin v0.16.0版本深度解析：OpenCV升级与任务API优化 MediaPipeUnityPlugin是一个将Google MediaPipe框架集成到Unity中的插件，它使得开发者能够在Unity环境中轻松使用计算机视觉和机器学习功能。该插件为Unity开发者提供了访问MediaPipe强大功能的能力，包括人脸检测、手势识别、姿态估计等。 OpenCV...
Ubuntu20编译Unity下开源跨平台机器学习模型应用框架过程【MediaPipeUnityPlugin】
ACE1298704266的博客
04-28 5734
ubuntu20下mediapipe unity开源跨平台机器学习模型应用框架过程，MediaPipeUnityPlugin，ubuntu20下编译过程
MediaPipe-UnityPlugin的基本使用
EdmundRF的博客
04-23 6875
一个帮我们把MediaPipe移植到Unity的插件
mediapipe单人动捕驱动unity“火柴人”
m0_57011726的博客
07-01 4133
利用mediapipe实现单人实时驱动unity中“火柴人”
MediaPipeUnityPlugin（最新版）摇摆拳人脸识别
不忘初心 方得始终
01-06 2554
MediaPipeUnityPlugin（最新版）摇摆拳人脸识别
MediaPipeUnityPlugin
09-21
Unity摄像头识别插件，包括人脸识别、面部识别、手势识别、绿幕抠图等
MediaPipeUnity插件
01-04
MediaPipeUnity插件，包含人脸识别，骨骼识别，手势识别等，例程可测试通过
MediaPipeUnityPluginLinuxInstaller
04-12
MediaPipeUnityPluginLinuxInstaller 环境设置外壳程序脚本，在Linux中构建 。 在WSL Ubuntu 20.04上测试。 如何安装？ 粘贴并运行它： cd $ home && sudo apt install wget && wget && sudo chmod 777 MediaPipeUnityPluginLinuxInstaller.sh && sh MediaPipeUnityPluginLinuxInstaller 警告 由于这只是构建MediaPipeUnityPlugin的脚本，因此，如果wsl已经用于各种用途，则无法保证该操作。 请按照原始作者的建议使用docker。
探索MediaPipeUnityPlugin：跨平台的媒体处理利器
gitblog_00069的博客
03-25 705
探索MediaPipeUnityPlugin：跨平台的媒体处理利器 项目简介 是一个由开发者Homuler创建的开源项目，它将Google的先进媒体管道框架MediaPipe与流行的3D游戏引擎Unity相结合，为开发者提供了一种在Unity中轻松集成各种高级计算机视觉和音频处理算法的途径。这使得在移动设备、桌面甚至Web平台上构建实时多媒体应用变得更加便捷。 技术解析 MediaPipe 是谷歌...
MediaPipeUnity 已编译过库 可直接在M1 Mac上运行 可编译安卓apk及iOS包运行在手机上.
06-30
MediaPipeUnity 已编译过库 可直接在M1 Mac上运行 可编译安卓apk及iOS包运行在手机上. 下载前请看清编译平台. MediaPipe Unity功能包括Face Mesh Face Detection Hand Tracking Pose Tracking等等. 项目原链接:https://github.com/homuler/MediaPipeUnityPlugin(需要安装坏境和build对应平台的库才能正常运行)
FaceMeshBarracuda:Unity Barracuda的MediaPipe Face Mesh（面部界标检测器）
04-16
面对网梭子鱼 FaceMeshBarracuda是一种面部界标检测器，可在神经网络推理库上运行模型。 关于ONNX文件 使用转换了此存储库中包含的ONNX模型文件。 它还用于解决一些ONNX兼容性问题。 请检查笔记本以获取更多详细信息。 致谢 该存储库包含来自一些库存照片。 ，
基于mediapipe在unity中实现的姿态追踪python源码+使用说明
01-21
<项目介绍> 基于mediapipe在unity中实现姿态追踪python源码+使用说明 PoseTrack 基于mediapipe在unity中实现姿态追踪 第三方库要求 mediapipe 使用方法 1.首先运行udptracker.py 可以根据需要更改ip地址和端口 2.然后使用unity2021.3.13f1c1打开Track副本 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
【亲测免费】 使用Mediapipe在Unity中实现实时手部追踪
gitblog_00024的博客
05-26 1143
使用Mediapipe在Unity中实现实时手部追踪 项目介绍 Unity Hand Tracking with Mediapipe 是一个创新的开源项目，它在Unity中实现了对实时手部和手指追踪的演示。借助Google的Mediapipe框架，这个项目在Android设备上检测并跟踪手部关键点，并将数据实时传输到PC上的Unity场景中进行处理和动画化。 技术分析 该项目的核心是通过And...
Mediapipe的Unity实现
qq_39006214的博客
11-19 4518
无
【亲测免费】 MediaPipeUnityPlugin使用教程
gitblog_00810的博客
08-08 1549
MediaPipeUnityPlugin使用教程 1. 项目介绍 MediaPipeUnityPlugin 是一个专为 Unity 开发者设计的插件，旨在无缝集成谷歌的 MediaPipe 框架（版本0.10.14及以上）。通过该插件，开发者能在Unity环境中直接调用MediaPipe的强大计算机视觉功能，如人脸识别、手势识别等。它通过将MediaPipe的C++ API转换成C#接口，赋予了开...
【亲测免费】 探索MediaPipe Unity插件：开启跨平台AI视觉应用新篇章
gitblog_01088的博客
08-08 729
探索MediaPipe Unity插件：开启跨平台AI视觉应用新篇章 项目介绍 MediaPipe Unity插件是一款专为Unity（版本2021.3及以上）设计的原生插件，旨在将Google的MediaPipe框架（版本0.10.14）引入Unity开发环境。通过这一插件，开发者可以在Unity中使用C#编写MediaPipe代码，实现包括面部检测、手势识别、姿态估计等在内的多种AI视觉解决方...
软件环境：unity 插件：MediaPipe Unity Plugin 0.16.0‌ 需求： 1.获取MediaPipe双手手部关键点信息 2.实现关键点与人物角色的手部骨骼进行绑定 3.实时驱动场景中人物角色模型的双手动作 4.形成完整代码
03-17
<think>嗯，用户想在Unity中使用MediaPipe的0.16.0插件来获取双手的关键点，然后绑定到角色的手部骨骼，实现实时驱动。首先，我需要回忆一下MediaPipe Unity插件的基本用法。MediaPipe主要是用来处理视频和图像中的机器学习模型的，比如手部检测、姿态估计等。用户需要的是双手的关键点，所以应该使用手部追踪的模型。 首先，用户可能需要按照MediaPipe Unity插件的安装步骤，比如通过GitHub或者Asset Store导入插件。然后，可能需要配置一些依赖项，比如OpenCV或者其他库。不过之前用户提供的引用中有提到Cocoapods的初始化，但Unity项目通常不使用Cocoapods，可能引用[1]是关于iOS开发的，可能不太相关。但需要确认MediaPipe是否需要其他依赖，比如在Unity中是否需要额外的设置步骤。 接下来，用户需要创建一个手部追踪的Graph，可能使用MediaPipe提供的预制解决方案，比如HandTracking的子图。然后，在Unity中创建相应的脚本，连接到这个Graph，获取关键点的数据。关键点通常是21个点，每只手，所以双手的话是42个点。 然后，如何将这些关键点数据绑定到角色的骨骼上呢？可能需要获取角色手部骨骼的Transform组件，然后将关键点的位置映射到这些骨骼上。这里可能需要考虑坐标系的转换，因为MediaPipe输出的坐标可能是屏幕坐标或者归一化的坐标，而Unity使用的是3D世界坐标或者局部坐标。需要进行转换，可能需要使用Camera的视口转换函数，比如ScreenToWorldPoint或者ViewportToWorldPoint。 用户需要完整的代码示例，所以得一步步来。首先，导入插件，配置场景，然后创建脚本处理数据流。可能需要使用MediaPipe的Solution组件，比如HandTrackingSolution，然后在脚本中继承Solution，并重写OnHandLandmarksUpdated方法来接收关键点的数据。 然后，在Update方法中，将这些关键点的位置应用到角色的骨骼上。这里可能需要使用骨骼的Transform组件，根据关键点的位置、旋转进行调整。但具体如何将关键点对应到每个骨骼可能需要一些映射关系，比如每个关键点对应哪根骨骼。例如，手掌根部可能对应手腕骨骼，指尖对应各手指的末端骨骼。 另外，实时驱动需要考虑性能问题，MediaPipe的处理可能会有延迟，尤其是在移动设备上。用户可能需要优化性能，比如降低图像输入的分辨率，或者调整Graph的配置。 可能还需要处理左右手的区分，MediaPipe的插件是否能够返回左右手的标签，这样在绑定时可以分别处理左右手的关键点。 最后，测试整个流程，确保关键点数据正确获取，并且骨骼的动作与手部动作一致。可能需要进行调试，比如在场景中显示关键点的位置，或者输出日志来确认数据是否正确。 总结步骤：安装配置插件→创建手部追踪Graph→编写脚本获取关键点→坐标转换→绑定骨骼Transform→测试调整。</think>### 步骤说明 #### 一、环境配置 1. 下载 **MediaPipe Unity Plugin 0.16.0**，通过Unity Package Manager导入插件[^3] 2. 在Unity项目中启用**Barracuda**和**AR Foundation**支持（用于摄像头输入） 3. 配置Android/iOS环境（若需部署到移动端） #### 二、场景搭建 1. 创建空物体并挂载`HandTracking`组件（来自MediaPipe） 2. 设置摄像头输入源（WebCamTexture或AR Camera） 3. 创建角色模型，确保手部骨骼层级命名规范（如`Bone_IndexTip_L`代表左手指尖） #### 三、代码实现 ```csharp using UnityEngine; using Mediapipe.Unity; public class HandBoneDriver : MonoBehaviour { public HandTrackingSolution handTracking; public Transform leftHandRoot; // 左手骨骼根节点 public Transform rightHandRoot; // 右手骨骼根节点 private static readonly int LandmarkCount = 21; // 每只手21个关键点 void Update() { if (handTracking == null) return; // 获取当前帧手部关键点数据 var leftHand = handTracking.LeftHandLandmarks; var rightHand = handTracking.RightHandLandmarks; // 驱动左手骨骼 if (leftHand != null && leftHand.Landmark.Count == LandmarkCount) UpdateBones(leftHandRoot, leftHand.Landmark); // 驱动右手骨骼 if (rightHand != null && rightHand.Landmark.Count == LandmarkCount) UpdateBones(rightHandRoot, rightHand.Landmark); } private void UpdateBones(Transform root, System.Collections.Generic.IList<Landmark> landmarks) { // 坐标系转换：MediaPipe的归一化坐标转Unity世界坐标 Vector3 ConvertToWorldPos(Landmark mark) { return Camera.main.ViewportToWorldPoint( new Vector3(mark.X, 1 - mark.Y, 10)); // Z轴用于深度调整 } // 遍历骨骼层级（需根据实际模型结构调整索引映射） for (int i = 0; i < root.childCount; i++) { var bone = root.GetChild(i); int landmarkIndex = GetCorrespondingLandmarkIndex(i); // 自定义映射函数 if (landmarkIndex < landmarks.Count) bone.position = ConvertToWorldPos(landmarks[landmarkIndex]); } } // 示例映射：根据骨骼层级顺序对应关键点索引 private int GetCorrespondingLandmarkIndex(int boneIndex) { return boneIndex switch { 0 => 0, // 手腕 1 => 1, // 拇指根部 2 => 4, // 拇指尖端 // ...其他映射规则 _ => boneIndex }; } } ``` #### 四、优化建议 1. **坐标平滑**：添加`Vector3.Lerp`平滑关键点移动 2. **旋转校准**：通过关键点向量计算骨骼旋转（如`Quaternion.LookRotation`） 3. **性能调整**：降低输入分辨率或启用`GPU加速`
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值