Mediapipe简介

最新推荐文章于 2025-04-04 13:53:09 发布
最新推荐文章于 2025-04-04 13:53:09 发布
阅读量2.8k 收藏 20
点赞数
文章标签： ar
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_54841920/article/details/132248126
版权

 

1. MediaPipe简介

Mediapipe是google的一个开源项目，可以提供开源的、跨平台的常用机器学习(machine learning)方案。Mediapipe实际上是一个集成的机器学习视觉算法的工具库，包含了人脸检测、人脸关键点、手势识别、头像分割和姿态识别等各种模型。

2cdf676c0b6049c1a2c1f7e3914acb9e.png

 

2. MediaPipe优

1）支持各种平台和语言，包括IOS，Android，C++，Python，JAVAScript，Coral等；
2）速度快，各种模型基本上可以做到实时运行。

3. 依赖库

MediaPipe依赖OpenCV来处理视频，FFMPEG来处理音频数据。它还有其他依赖项，如OpenGL/Metal、Tensorflow、Eigen等。

4.应用产品

Netcom的感知系统、谷歌镜头的目标检测、增强现实广告、谷歌图片、谷歌Home、Gmail、云视觉API等。

5. MediaPipe中的计算器类型

预处理计算单元是图像和媒体处理计算单元族。上图中的ImageTransform和imagetotensor就属于这一类；

推理计算单元允许与Tensorflow和Tensorflow Lite进行ML推理的本地集成；

后处理计算单元执行ML后处理任务，如检测、分割和分类。TensorToLandmark是一个后处理计算单元；

计算单元工具是执行任务的一类计算单元。

6. MediaPipe中Solutions

Solutions是基于特定的预训练TensorFlow或TFLite模型的开源预构建示例。它一共提供了16个Solutions：人脸检测、Face Mesh（面网）、虹膜、手、姿态、人体、人物分割、头发分割、目标检测、Box Tracking（方格追踪）、Instant Motion Tracking（实时运动跟踪）、3D目标检测、特征匹配、AutoFlip（视频裁剪）、MediaSequence（媒体序列）、YouTube-8M（视频标签比赛）。2cb086fee794408c884740132a70f181.png

 

7.MediaPipe的框架

框架是用c++、Java和Obj-C编写的，包含以下api：

  • Calculator API (C++).
  • Graph construction API (Protobuf).
  • Graph Execution API (C++, Java, Obj-C).

Graphs

MediaPipe感知管道称为Graph。让我们以第一个solution为例，汉兹。我们输入一串图像作为输入，然后在图像上呈现手的landmarks。

5cb06db3083f40c9b0d93a478445e1e8.png

 

下面的流程图代表MP(简称MediaPipe)hand solution graph。

0bb1b9316ebd4eed83ac768b58092f1f.png

 

 

8.MediaPipe的应用

Mediapipe手势识别

  1. OpenCV调用摄像头；
  2. 调用mediapipe中的hands模块；
  3. demo示例。

手势识别

基于mediapipe我们已经能够获取手指关键点的坐标位置了，进一步只需要判断每根手指的开合状态即可得到手势。先贴以下关键点分布图：

Mediapipe姿态识别

1.OpenCV调用摄像头(同手势识别)；
2.调用Mediapipe中的pose模块；

3.demo示例。

姿态估计模型主要有三类：

1.运动学模型：它是一种基于骨骼的模型，代表人体。

2.平面模型：平面模型是一种基于轮廓的模型，它使用人体周围的轮廓来表示人体形状。

3. 体积模型：体积模型创建人体的 3d 网格，表示人体的形状和外观watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAYmFzaGVuZGl4aWU1,size_20,color_FFFFFF,t_70,g_se,x_16

 

 

 

 

 

 

 

基于深度学习mediapipe的人脸打码pyqt5界面人脸模糊源码

基于深度学习mediapipe的人脸打码pyqt5界面人脸模糊源码 效果演示：https://www.bilibili.com/video/BV1uw411o72E/?spm_id_from=333.999.0.0 文章介绍：https://blog.youkuaiyun.com/babyai996/article/details/130385775

最新发布 基于mediapipe实现手势数字识别机器学习项目python源码+数据集+项目操作说明.zip

<项目介绍> 基于mediapipe实现手势数字识别机器学习项目python源码+数据集+项目操作说明.zip 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到94.5分，放心下载使用！ 该...

毕设新项目基于Mediapipe的手势识别前端应用+使用说明+exe可执行文件.zip

【项目资源介绍】 基于AutoHotkey制作的摄像头手势识别软件。能让你的电脑摄像头在识别手势后，执行自定义的电脑操作命令。同时也集成了语音识别功能，可调用Windows自带API实现简单的语音助手功能。 手势识别调用了...

(判断是否踢被子和苏醒)+带测试视频+代码注释.zip

mediapipe两个类库...

跌倒识别系统源码+项目使用说明(毕设项目).zip

对提取...

基此继续访问

此继续访问

 

...

 

MediaPipe简介
DT程序员的博客
06-26 569
详细介绍MediaPipe简介与原理
MediaPipe：Google开源的跨平台机器学习解决方案
2401_87189860的博客
10-09 1466
MediaPipe是由Google开发的开源框架,旨在构建跨平台的机器学习管道,特别适用于处理多媒体数据如视频和图像。它提供了一套库和工具,让开发者能够快速将人工智能(AI)和机器学习(ML)技术应用到自己的应用程序中。无论是在移动设备、网页应用还是嵌入式系统上,MediaPipe都能提供高效的性能表现。: 用于部署解决方案的跨平台API和库: 预训练的、即用型模型: 允许使用自定义数据定制模型: 在浏览器中可视化、评估和基准测试解决方案。
MediaPipe介绍
Xiao_Songzi的博客
11-22 5236
Mediapipe是google的一个开源项目，可以提供开源的、跨平台的常用机器学习(machine learning)方案。Mediapipe实际上是一个集成的机器学习视觉算法的工具库，包含了人脸检测、人脸关键点、手势识别、头像分割和姿态识别等各种模型。
深入了解MediaPipe：谷歌开源的跨平台视觉AI框架
m0_74197594的博客
04-04 1401
MediaPipe 是 Google Research 推出的一个跨平台、可定制的多媒体处理框架，主要面向 ​实时计算机视觉任务​。它集成了许多常见的机器学习模型，并对图像流处理进行了高度优化，使得开发者可以轻松构建基于摄像头输入的 AI 应用。支持实时处理拥有丰富的预训练模型跨平台支持：支持 Android、iOS、桌面端（Linux、Windows、Mac）、Web（通过 WebAssembly）使用 C++ 编写，提供等高层API。
Mediapipe 机器学习库介绍
张伟的专栏
02-03 3506
Mediapipe是google的一个开源项目，可以提供开源的、跨平台的常用机器学习(machine learning)方案。Mediapipe实际上是一个集成的机器学习视觉算法的工具库，包含了人脸检测、人脸关键点、手势识别、头像分割和姿态识别等各种模型。1）支持各种平台和语言，包括IOS，Android，C++，Python，JAVAScript，Coral等；2）速度快，各种模型基本上可以做到实时运行。1）人脸检测；
Mediapipe框架介绍及使用说明
热门推荐
图灵追幕者博客录
01-20 3万+
Mediapipe是Google开发的一款开源的跨平台框架，用于构建实时多媒体应用程序。它提供了一系列预训练的机器学习模型和工具，可以用于各种计算机视觉、音频处理和姿态估计等任务。
深入解析MediaPipe：强大的实时计算机视觉框架
萧鼎的博客
02-18 3575
MediaPipe是一个跨平台的机器学习框架，专注于实时流式数据处理，特别适用于计算机视觉任务。高效实时处理：基于图计算（Graph-Based Processing）设计，支持低延迟处理。跨平台支持：可运行于等多种环境。预训练模型：提供了手势检测、姿势估计、面部检测等预训练模型，方便开发者直接集成。模块化设计：基于图计算的方式，可以轻松扩展不同任务。如果需要自定义手势识别、物体分类，可以结合训练自己的模型，并使用MediaPipe 进行推理。
mediapipe安装包 包含0.8.9和0.9.0.1
12-15
1. **Mediapipe简介** Mediapipe是一个由Google开发的开源项目，它的目标是简化处理多媒体数据的流程，特别是在移动设备上。该库支持多种平台，包括Android、iOS、Linux、macOS以及Windows。Mediapipe采用了管道...
使用 Python 和 MediaPipe 进行 AI 面部、身体和手部姿势检测
04-01
#### 知识点一：MediaPipe 简介与应用场景 MediaPipe 是一个跨平台的框架，用于构建多模态应用级机器学习解决方案，旨在帮助开发者在边缘设备上构建高效的机器学习应用。它支持多种编程语言，包括 Python，在移动、...
Google MediaPipe - 跨平台机器学习应用开发框架
开发者技术前线-DevolperFront
05-18 3189
点击“开发者技术前线”，选择“星标????”在看|星标|留言, 真爱MediaPipe是一款由Google开发并开源的数据流处理机器学习应用开发框架。它是一个基于图的数据处理管线，用于...
cpp-MediaPipe是一个用于构建多模式应用机器学习管道的跨平台框架
08-16
MediaPipe是一个用于构建多模式应用机器学习管道的跨平台框架
mediapipe_app
04-03
Mediapipe样板项目 构建： bazel build -c opt --define MEDIAPIPE_DISABLE_GPU=1 --experimental_repo_remote_exec hello_world:hello_world
mediapipe模型库
03-15
在import模型时，有时候因为网络问题无法加载mediapipe模型。可以将附件拷贝到对应的目录即可。具体报错如下：TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连 接尝试失败
Mediapipe
magicboom的博客
10-20 1370
1.Calculators 每个计算器(calculators)都是图的一个节点。 我们描述了如何创建新的计算器，如何初始化计算器，如何执行其计算，输入和输出流，时间戳和选项。 图中的每个节点都实现为计算器。 图执行的大部分发生在其计算器内部。 计算器可以接收零个或多个输入流和/或侧分组，并产生零个或多个输出流和/或侧分组。 A calculator is created by defining a new sub-class of theCalculatorBaseclass, imp...
MediaPipe框架- 概述
aggs1990的专栏
03-18 314
​要开始使用MediaPipe Framework，请安装MediaPipe框架并开始在C++、Android和iOS中构建示例应用程序。注意：如果只对将设备上的机器学习解决方案集成到应用程序中的简单方法感兴趣，请使用MediaPipe solutions提供的预制解决方案。​MediaPipe Framework是一个底层组件，用于构建高效的设备上机器学习管道，类似于预制的MediaPipe解决方案。​源代码托管在MediaPipe Github存储库中，可以使用Google开源代码搜索来运行代码搜索。
mediapip
TyearLin的专栏
09-29 1022
（4）使用了类似于FPN（特征金字塔网络）编解码特征提取器：因为这样可以在更大的场景下对上下文进行感知，这样大物体和小物体都能在不同尺度的特征下被感受到（Tips：YOLOV3也是使用了FPN的思想提高了小目标的检测能力，因为大特征图里面的一个元素的值的感受野比较小，适合检测小物体。在MediaPipe中，我们的手部追踪流水线是由被称为算子的模块化组件构成的有向图。提供给手部坐标模型的是精确裁剪的手掌图片，极大的降低数据增强（例如旋转，平移和缩放）操作，可以使模型的性能都用来提高坐标定位的精度。
mediapipe全解
最新发布
05-01
### MediaPipe全面介绍 #### 1. **MediaPipe简介** MediaPipe 是由 Google 开发的一个开源框架，专注于构建多模态应用的机器学习管道。该框架支持多种数据源，包括但不限于视频、音频和传感器数据，并能够处理时间序列数据[^2]。 #### 2. **功能特点** - **跨平台支持**: MediaPipe 支持多个操作系统和硬件架构，例如 Raspberry Pi OS (aarch64)、Ubuntu (aarch64)、Debian (aarch64) 和 NVIDIA Jetson Nano 等设备上的部署[^1]。 - **模块化设计**: 基于图结构的设计理念，允许开发者将不同的感知模型抽象为独立的节点（模块），并通过定义好的接口连接成完整的流水线[^2]。 - **实时性能优化**: 特别适合需要高性能计算的应用场景，比如手势识别、面部表情分析等任务，在移动设备端也有良好的表现[^3]。 #### 3. **安装指南** ##### （1）Python环境准备 确保本地已安装 Python 3.7 或更高版本。如果尚未完成此操作，则可以从官方站点获取最新发行版进行设置：https://www.python.org/getit/。 ##### （2）依赖库配置 在开始之前还需要引入一些必要的第三方包作为基础支撑工具集之一便是 OpenCV ，它提供了丰富的图像处理函数集合 。可以通过如下命令轻松实现自动化装配流程 : ```bash pip install opencv-contrib-python ``` ##### （3）核心组件加载 接着就是正式引入 mediapipe 库本身了 , 这一步骤同样非常简便快捷只需运行下面这条语句即可完成全部准备工作: ```bash pip install mediapipe ``` #### 4. **基本使用示例** 以下展示了一个简单的例子说明如何利用 Mediapipe 实现手部关键点检测： ```python import cv2 import mediapipe as mp mp_hands = mp.solutions.hands.Hands(static_image_mode=False,max_num_hands=2,min_detection_confidence=0.5) cap=cv2.VideoCapture(0) while True: ret,img=cap.read() imgRGB=cv2.cvtColor(img,cv2.COLOR_BGR2RGB) results=mp_hands.process(imgRGB) if results.multi_hand_landmarks is not None: for handLms in results.multi_hand_landmarks: for id,lm in enumerate(handLms.landmark): h,w,c=img.shape cx,cy=int(lm.x*w),int(lm.y*h) print(id,(cx,cy)) cv2.imshow('Hand',img) key=cv2.waitKey(1)&0xFF if key==ord('q'): break cv2.destroyAllWindows() ``` 这段脚本开启摄像头捕获画面后调用手势追踪算法标记出手掌位置及其特征点坐标值输出至控制台窗口直至按下键盘按键 'Q' 结束程序执行为止。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值