25、浏览器中的人工智能：TensorFlow.js 与 ml5.js 实战

浏览器中的人工智能：TensorFlow.js 与 ml5.js 实战

1. 浏览器中使用网络摄像头预测的问题与解决办法

在浏览器中使用网络摄像头进行预测时，UI 界面常常会冻结。这是因为计算和 UI 渲染在同一线程中进行。解决办法是调用 await tf.nextFrame() ，这样可以释放 UI 线程，让网页保持响应，避免标签页或浏览器冻结。

2. GPU 利用率监测

可以使用 Chrome 性能分析器查看训练和推理过程中的 CPU/GPU 利用率。例如，之前的示例中记录了 30 秒的利用率，观察到 GPU 有四分之一的时间在工作。

3. ml5.js 简介

ml5.js 是 TensorFlow.js 的高级抽象库，它能让我们以统一的方式轻松使用现有的预训练深度学习模型，只需少量代码。该库自带多种内置模型，涵盖文本、图像和声音等多种功能，如下表所示：
| 功能 | 描述 |
| ---- | ---- |
| PoseNet | 检测人体关节位置 |
| U - Net | 对象分割，如去除对象背景 |
| Style Transfer | 将一个图像的风格转移到另一个图像上 |
| Pix2Pix | 图像到图像的转换，如黑白转彩色 |
| Sketch RNN | 根据不完整的草图创建涂鸦 |
| YOLO | 对象检测，如用边界框定位人脸 |
| Sound Classifier | 识别音频，如口哨、拍手、“一”、“停止”等 |
| Pitch Detector | 估计声音的音高 | <