如何基于深度学习实现图像的智能审核？

背景

美团每天有百万级的图片产生量，运营人员负责相关图片的内容审核，对涉及法律风险及不符合平台规定的图片进行删除操作。由于图片数量巨大，人工审核耗时耗力且审核能力有限。另外对于不同审核人员来讲，审核标准难以统一且实时变化。所以有必要借助机器实现智能审核。

图像智能审核一般是指利用图像处理与机器学习相关技术识别图像内容，进而甄别图像是否违规。图像智能审核旨在建立图片自动审核服务，由机器自动禁止不符合规定（负例）的图片类型，自动通过符合规定（正例）的图片类型，机器不确定的图片交由人工审核。因此，衡量智能审核系统性能的指标主要是准确率和自动化率。

通常的自动审核思路是穷举不符合规定的图片（例如水印图、涉黄图、暴恐图、明星脸、广告图等）类型，剩下的图片作为正例自动通过。这样带来的问题是对新增的违规内容扩展性不足，另外必须等待所有模型构建完毕才能起到自动化过滤的作用。如果我们能主动挖掘符合规定的图片（例如正常人物图、场景一致图）进行自动通过，将正例过滤和负例过滤相结合，这样才能更快起到节省人工审核的作用。因此，我们的图像智能审核系统分为图片负例过滤模块和图片正例过滤模块，待审图片先进入负例过滤模块判断是否违禁，再进入正例过滤模块进行自动通过，剩余机器不确定的图片交由人工审核。整个技术方案如图1所示。

负例过滤和正例过滤模块中都会涉及检测、分类和识别等技术，而深度学习则是该领域的首选技术。下面将分别以水印过滤、明星脸识别、色情图片检测和场景分类来介绍深度学习在图像智能审核中的应用。

基于深度学习的水印检测

为了保护版权和支持原创内容，需要自动检测商家或用户上传的图片中是否包括违禁水印（竞对水印、其他产品的Logo）。与其他类刚体目标不同，水印具有以下特点。 * 样式多。线下收集所涉及的主流违禁水印有20多类，每一类水印又存在多种样式。除此之外，线上存在大量未知类型的水印。 * 主体多变。水印在图片中位置不固定且较小，主体存在裁切变形，并且会存在多个主体交叠（多重水印），如图2所示。

• 背景复杂。由于主流水印大多采用透明或半透明方式，这使得水印中的文字标识极易受到复杂背景的干扰，如图3所示。

传统的水印检测采用滑动窗口的方法，提取一个固定大小的图像块输入到提前训练好的鉴别模型中，得到该块的一个类别。这样遍历图片中的所有候选位置，可得到一个图片密集的类别得分图。得分高于一定阈值的块被认为是水印候选区域，通过非极大化抑制可以得到最终的结果。鉴别模型的特征可以采用文字识别领域常用的边缘方向统计特征，也可以通过CNN进行特征学习来提升对裁切、形变、复杂背景的健壮性。为了进一步改善得分的置信度，可以加入类型原型的信息，把输入图像块特征与聚类中心特征的相似度（夹角余弦）作为识别置信度。但上述方法检测效率极低，由于水印位置和大小不固定，需要在所有位置对多个尺度的图像进行判别，由此产生大量的冗余窗口。

一种思路是旨在减少滑动窗口数目的子窗口的方法。首先通过无监督/有监督学习生成一系列的候选区域，再通过一个CNN分类器来判断区域中是否包含目标以及是哪一类目标。这类方法比较有代表的是R-CNN系列。由于该类方法得到的候选框可以映射到原图分辨率，因此定位框精度足够高。

另一种解决思路时采用直接在特征图上回归的方法。我们知道，对于CNN网络的卷积层而言，输入图片大小可以不固定，但从全连接层之后就要求输入大小保持一致。因此当把任意大小的图片输入CNN直到第一个全连接层，只需要一次前向运算就可以得到所有层的特征图。然后回归的对象是待检测目标的位置信息和类别信息，它们可根据目标大小的需要在不同层次的特征图上进行回归，这类方法以Yolo、SSD为代表。该类方法的特点是在保证高检测精度的前提下实时性较好。

图4给出了上述两类框架与DPM（可变形部件模型）最佳传统方法的性能比较：