【ATU Book-i.MX8系列 - TFLite 进阶】 NXP i.MX8M Plus 实现高效 Mobilenet SSD 物体检测

NXP i.MX8M Plus 实现高效 Mobilenet SSD 物体检测

一、概述

在 边缘运算(Edge Computing) 领域中，轻量级的模型扮演着举足轻重的角色。因此，如何在有限硬体资源下实现电脑视觉（Computer vision） 应用是个极具挑战性的课题。特别是在效能与准确度之间寻求平衡。在本节中，我们将深入剖析 深度学习(Deep Learning) 领域中一个备受关注的研究方向 ：目标识别(Object Detection)。这应用催生了众多神经网路架构的创新，从VGG-19、ResNet、Inception V4到Mobilenet-SSD，到近年来风头正劲的YOLO系列，都是朝着在改进模型大小，来优化准确度与运行速度效能。

NXP i.MX8M Plus处理器凭借其卓越的处理能力和高效的能源管理，已成为物体检测应用的理想选择之一。该处理器内建的高效AI加速器，即 NPU (Neural Processor Unit) 神经网路处理器，能迅速处理复杂的神经网路运算，使目标识别(Object Detection) 的应用能更加快速和精确。为在 边缘运算(Edge Computing) 设备上进行物体检测的首选方案。

开发平台的第一步就是如何建立 NXP 嵌入式系统的开发环境， 若不懂此技术的读者可以阅读此 【ATU Book - i.MX8系列 - OS】NXP i.MX Linux BSP 开发环境架设 来快速布署恩智浦 NXP i.MX8 系列的开发环境，透过此博文或 ATU 一部小编的系列博文，即可轻松实现任何有关 i.MX8 的环境架设 !! 或是想要更快速进入到 NXP 平台的实作中，可以至官方网站下载官方发行的 Linux 映像档(Image) [链接]。

若新读者欲理解更多人工智能、机器学习以及深度学习的资讯，可点选查阅下方博文：

大大通精彩博文    【ATU Book-i.MX8系列】博文索引

TensorFlow Lite 进阶系列博文-文章架构示意图
 

二、算法介绍

由于边缘运算(edge computing) 需以轻量、快速、准确为主，故采用神经网路架构最轻量，且有一定识别能力、运行效率极佳的 MobileNet + SSD 架构。由 轻量化网路架构 MobileNet 与 物件检测算法(Single Shot MultiBox Detector, SSD) 组成之应用。

神经网路架构探讨 ：

（1）MobileNet

核心概念是利用拆分的概念，将原本的卷积层拆成 深度卷积(Depthwise Convolution) 与 逐点卷积(Pointwise Convolution) 两个部分，称作 深层可分离卷积(Depthwise Separable Convolution) 。以此方式进行运算，能够大幅度减少参数量，以达到加快运算速度。(用途撷取特征)

MobileNet 轻量化概念示意图, 参考 LaptrihnX 网站

（2）Single Shot Multi-Box Detector, SSD

核心概念是由 金字塔特征结构(Pyramidal Feature Hierarchy) 与 先验框(Prior boxes) 的概念组成。

金字塔特征结构(Pyramidal Feature Hierarchy) :

采用不同大小的特征图检测物件，比如说大特征图检测小物件、小特征图检测大物件。

先验框(Prior boxes) :

让每个特征图上设置不同尺寸、长宽比的先验框，以作为预测框的基准。这能够帮助训练过程时，提供梯度一定程度的范围限制，能够降低一定程度的训练难度。

如下图所示，金字塔特征结构概念就是在每个不同大小的特征层之中，进行预测来判断是否有物件，并总和每个特征层的结果，找出最大可能性的物件。