基于TensorFlow的开源JS库的网页前端人物动作捕捉的实现

个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 

前言

 

随着前端生态的发展，Java已经不仅仅局限于作为网页开发，也越来越活跃于服务器端，移动端小程序等应用开发中。甚至通过Electron等打包工具，甚至能够开发多系统的桌面应用。其涉足的领域宽泛也使得能够实现的功能也不再是简单的UI控件制作和内容的展示，在互动娱乐，小游戏领域也有着极大的发展前景。本文以通过Java开发一个基于浏览器摄像头的实时人物动作捕捉小程序为例，介绍一下前端在这一领域的可行性。

什么是TensorFlow

TensorFlow 最初是由Google大脑小组的研究员和工程师们开发出来，采用数据流图（Data Flow Graphs）用于机器学习和深度神经网络方面数值计算的开源软件库。其高度的可移植性和多语言性使得它可以通过各种常用编程语言编写，轻松的运行在多种平台的设备上。是一个集性能，可靠性，通用性，易用性为一体的强大开源库。

本文所使用的开源Java模型库：

l tfjs-models/posenet: 一个机器学习模型，功能为对图像或者视频中的人物进行动作捕捉，输出人体各个部位的keypoints（坐标集）。具有单一人物分析和多人物分析的特点。

l tfjs-models/body-pix: 一个机器学习模型，功能为对图像或者视频中人物和背景进行分析，将人物从背景中剥离出来，输出结果为人体24个部位在画面中的像素位置。具有将人物与背景分离的功能。

实现原理

本文所介绍的基于浏览器和网络摄像头的人物实时动作捕捉方法，其实现原理是通过Java调用<video/>元素，通过浏览器呼叫网络摄像头，将网络摄像头获取到的视频流的每一帧数据通过TensorFlow 的JS模型