实时性能评估框架nn-Meter解读

引言

随着人工智能技术的飞速发展，深度神经网络 (DNN) 模型被广泛应用到各种业务场景下，部署在许多移动端应用上。实际应用时，推理时间 (latency) 是评估模型是否能用、好用的关键指标之一。然而针对巨大的模型设计空间，实测各种设计模型的推理时间成本过高，而现有技术缺乏对部署硬件平台优化策略的理解以及对灵活多变模型架构的泛化性，所以无法做到准确的模型推理时间预测。

在神经结构搜索 (NAS) 、模型剪枝等任务中，如何快速且准确地获取模型在部署后的推理时间是一个十分关键的问题。传统方法对硬件效率的评估大多是基于 FLOPS 来预测的，准确率比较差，原因在于其部署链路过长，且涉及到部署框架、硬件优化特性等问题，这构成了一个十分复杂的系统。此外，众多新出现的设备，如 VPU 、 NPU 等也并未将内核信息开源，对用户呈现黑盒模式。

为此，微软亚洲研究院异构计算组的研究员们提出并开发了一种框架 nn-Meter ，在硬件内核信息处于黑盒的情况下，对模型推理时间实现更准确的预测。该框架核心思想是将模型图划分为若干内核 (kernel) ，即设备上的执行单元，分别针对各个内核进行训练拟合，通过内核级预测实现对整体模型图推理时间的预测，预测准确率远超过传统方法。该框架的两个核心技术是内核检测、自适应采样。其具体实现原理与逻辑是什么？本文打算一探究竟。

1. 整体介绍

nn-Meter 整体框架如下图所示：

根据公开论文中的实验结果，nn-Meter 在移动端 CPU 、移动端 GPU 、 Intel VPU 上针对几种经典神经网络模型组成的数据集的预测精度远超过传统方法。特别是移动端 CPU 、移动端 GPU 上的数据集预测中，在 10% 容忍误差范围内预测准确率不低于 94% 。

对于一个神经网络模型，为了准确获取其推理时间，需要将其部署在后端设备上进行实测。nn-Meter 为了实现预测，首先将神经网络模型导入并转换成自身的 nnmeter-ir 。在 nnmeter-ir 的基础上，通过内核检测，将模型划分成若干 kernel ，所依赖的规则是在后端设备上通过若干测试样例检测出来的。然后针对不同类型的 kernel ， 使用自适应数据采样方法分别生成若干 kernel 样本，将 kernel 样本放在后端设备上实测推理时间后，以 kernel 样本的特征为输入，对应的实测推理时间为输出，使用随机森林算法进行拟合，得到若干针对单个 kernel 的预测模型，以 .pkl 格式存储。之后将各个 .pkl 格式的模型组装成整体的预测器，实现整体推理时间的预测。

为了评估预测结果， nn-Meter 针对多种经典神经网络，在结构、层数不变的前提下修改其算子特征（例如 conv 算子的输入特征图尺寸 HW 、输入通道数 CIN 、输出通道数 COUT 、卷积核尺寸 KERNEL_SIZE 、 卷积步长 STRIDES，详见此处）,得到多个不同的模型，分别部署在后端设备上进行实测后，构建数据集，用于评估预测器的预测准确率。

其中的关键技术点包括：

• nnmeter-ir 导入

• 后端的注册与连接

• 融合规则检测

• 自适应数据采样及训练

• 预测器的组装与预测