一、实验目的
本节视频的目的是了解MediaPipe开发框架的用途及流程,并掌握基于MediaPipe Hands实现手部检测的方法。
二、实验原理
MediaPipe
MediaPipe是⼀款由Google开发并开源的数据流处理机器学习应⽤开发框架。它是⼀个基于图的数据处理管线,⽤于构建使⽤了多种形式的数据源,如视频、⾳频、传感器数据以及任何时间序列数据。
MediaPipe是跨平台的,可以运⾏在嵌⼊式平台,移动设备(iOS和Android),⼯作站和服务器上,并⽀持移动端GPU加速。 MediaPipe为实时和流媒体提供跨平台、可定制的ML解决⽅案。
MediaPipe 的核⼼框架由 C++ 实现,并提供 Java 以及 Objective C 等语⾔的⽀持。MediaPipe 的主要概念包括数据包(Packet)、数据流(Stream)、计算单元(Calculator)、图(Graph)以及⼦图(Subgraph)。
MediaPipe特点
(1)端到端加速:内置的快速ML推理和处理即使在普通硬件上也能加速。
(2)⼀次构建,随时随地部署:统⼀解决⽅案适⽤于Android、iOS、桌⾯/云、web和物联⽹。
(3)即⽤解决⽅案:展⽰框架全部功能的尖端ML解决⽅案。
(4)免费开源:Apache2.0下的框架和解决⽅案,完全可扩展和定制。
MediaPipe Hands
MediaPipe Han