在WebRTC上实现ML Kit笑容检测

本文来自Houseparty的WebRTC视频专家Gustavo Garcia Bernardo和TokBox的WebRTC移动端专家Roberto Perez，他们通过Google的ML Kit在WebRTC通话中实现了简单的笑容检测，期间考虑到了检测准确率、延时以及检测频度与CPU占用率的平衡等，实际结果表明ML Kit的检测结果令人满意。LiveVideoStack对本文进行了摘译。

文 / Roberto Perez, Gustavo Garcia

译 / 元宝

原文 ： https://webrtchacks.com/ml-kit-smile-detection/

现在，在大部分时间里建立视频通话变得相对简单，我们可以继续使用视频流做一些有趣的事情。随着机器学习（ML）的新进展以及越来越多的API和库的出现，计算机视觉也变得越来越容易。Google的ML Kit是最近提出的一个新的基于机器学习的库，可以快速访问计算机视觉输出。

为了展示如何使用Google的新ML KIT来检测实时WebRTC流上用户的笑容，我想欢迎过去Houseparty的WebRTC视频大师Gustavo Garcia Bernardo。与此同时欢迎TokBox的移动WebRTC专家Roberto Perez。他们给出了一些关于做面部检测的背景知识，展示了一些代码示例，但更重要的是分享了他们实现实时通信（RTC）应用程序内的微笑检测的最佳配置的研究。

  

介绍

在实时通信（RTC）中最常见的机器学习（的例子是计算机视觉。然而，除了使用人脸检测进行识别、跟踪和增强之外，我们还没有看到这些算法的许多实际应用。 幸运地是两周前Houseparty首席执行官Ben Rubin发表的一则让我们有机会探索人造视觉用例的评论：

“若有人可以做一个来检测笑脸的编外项目，以便让我们可以开始测量笑容并在仪表板上显示。 我认为这在许多不同的层面上都很重要。”

几乎与此同时，Google发布了他们用于机器学习的新的跨平台移动SDK，名为ML Kit。 我们想要立即测试这个。 幸运地是，所有的行星都可以让我们在一个真正的应用上尝试一下，即：在WebRTC对话中，在iPhone本地上通过ML检测笑容。