ECNet：轻量级边云协同网络

ECNet：一种基于级联结构的快速、准确且轻量级的 边云网络系统

一、引言

近年来，已提出了一种用于目标检测的边缘与云协同 方法[1]。得益于硬件和深度学习技术的进步，甚至出现了 能进一步提升分类性能的更深的网络。虽然深度神经网络 的集成可以显著增强边缘设备的功能，但在准确性提升的 同时，运行时间和功耗的快速增长可能导致神经网络变得 更加复杂，从而在许多对延迟和能耗有严格要求的实时场 景中变得难以应对。

当前边缘设备上的深度学习系统效果不尽如人意，主 要原因是边缘设备与云服务器之间的计算能力存在差距。 这往往会导致在处理时间或推理精度之间做出妥协。此外， 将图像数据卸载到云端大模型的步骤容易带来通信成本、 延迟问题和隐私问题[2]。当面对数据速率极高的实时任 务时，挑战在于如何在有限传输带宽下实现高图像吞吐量。

为了解决这些问题，我们考虑采用基于级联结构的边 云系统，该系统将边缘设备上的轻量级神经网络与云服务 器上的高精度网络相结合。边缘侧的轻量级模型能够快速 输出特征提取结果，并完成推理。卸载控制器负责判断边 缘侧的推理结果是否令人满意。对于勉强满足要求的特征 数据，应传输至云端侧，利用强大的DNN模型和相对充 足的计算资源进行进一步处理。我们网络设计的初衷是实 现比DNN模型更低的计算成本，以及相较于边缘设备上 简单模型更高的准确率性能。此外，进一步优化了边缘侧 和云端侧的网络以提升兼容性。同时部署了数据提取和压 缩模块，以降低通信成本，并实现系统的实时性[3]。

本文的主要贡献是：
- 边缘‐云架构的设计与实现：经过特定修改的边缘 侧网络处理大部分推理任务，并可控地退出部分 特征图。整个系统旨在降低计算成本，从而节省 运行时间，同时在深度学习任务中实现显著的整 体性能。通过卸载控制器进行系统调节：将分类 结果的熵设为由用户操作的阈值，以控制特征数 据的卸载率，从而确保ECNet满足定制化的准确 率需求。
- 特征数据压缩与编码：我们表征了不同 量化对准确性的影响，同时引入了多种特征空间 编码方法，并进行了时间开销分析。

II. 方法

A. 边缘侧和云端侧指定

YOLOv3作为目标检测任务中最常用的网络，同时需要较大的 计算成本。我们考虑了YOLOv2进行操作作为具有轻量级优势的边缘侧网络[4]。在边云系统的初始构建中，我们采用边缘侧使用Darknet19（YOLOv2的 骨干网络）、云端侧使用DarkNet53（YOLOv3的骨干 网络），并计划在边缘侧设置退出点。由于两侧网络结构 不同，在退出点提取的特征图无法直接用于云端侧的后续 处理。因此，我们打算将两个网络的头部重构为相同结构。

然而，这种分布式方法在多个方面存在挑战，包括：
- DarkNet53 的结构基于大量残差块，每个残差块包含通过一个短路连接[5]相连的连续 $3 \times 3$ 和 $1 \times 1$ 卷积层。该结构旨在解决深度网络上的退化问题。重构的边缘侧网络前部应避免分割残差块，以确保其完整性。
- 在检测任务中，YOLOv3 在 3 个不同的尺度上预测框。ECNet 的云端侧使用类似于特征金字塔网络[6] 的概念从这些尺度中提取特征。它在检测器[7] 需要识别的小目标上表现出良好的性能。将特征图卸载到云端侧的位置应在开始提取特征的层之前。
- 为了限制边缘侧的计算成本和处理时间，边缘侧的深度不应过大。

在上述考虑因素的指导下，经过多次试验和仿真，设计了边缘‐云网络的结构。

B. 边缘侧退出点的置信度分数度量

在分类任务中，我们使用分类结果（例如通过 softmax）的熵作为度量[8]。在仿真过程中，熵用作置信度分数。当分类结果具有高置信度时，熵的值较小；否则，熵的值较大。当输出熵高于用户设定的阈值时，边缘侧网络将特征图传输至云端。熵定义为

$$
\text{entropy}(\mathbf{y}) = -\sum_{c \in \mathcal{C}} y_c \log y_c
$$

其中 $\mathbf{y}$ 是所有可能类别标签的预测概率，$\mathcal{C}$ 是所有可能标签的集合。

C. ECNet

如图1所示，ECNet的通用框架主要由边缘操作和云端操作组成。从边缘侧提取的特征图将根据卸载控制器的判断传输至云端侧。由于网络带宽的限制，特征图在传输前需要进行压缩。量化是一种加速神经网络的常用方法。卸载率可根据阈值确定，以满足精度要求。

III. 实验与结果

在本节中，我们对ECNet的关键方面进行附加分析。 我们使用10个类别的ImageNet数据集进行实验（训练图 像10000张，测试图像3000张）。

A. 边缘侧网络的分类性能

为了确保优化的分类性能，为了评估优化后的边缘侧网络，我们将其与 Darknet19和Darknet53进行了评估和对比。

	Rank-1 (%)	Rank-5 (%)	处理时间（秒/帧）
边缘侧	68.5	81.8	0.013
Darknet19 (YOLO v2)	64.3	76.4	0.006
Darknet53 (YOLO v3)	81.2	98.2	0.023

结果表明，所设计的边缘侧网络具有相当可观的分类性能， 且每帧的处理时间比Darknet53更短，这是合理的。

B. 熵分布

对测试数据集中每个样本的熵进行统计，以确认其熵 分布，如图2所示。边缘侧输出的大多数特征图的熵小于 0.5，表明所设计的边缘侧网络具有相对可靠的分类性能。 大于0.5的部分呈现稀疏分布，表明云端网络有望具备更 强的分类能力。

C. 不同量化位数对准确性的影响

我们评估了ECNet的总体准确性在不同量化位数下随熵阈值的变化[9]。如图3所示 （绿色虚线与原始结果存在重叠），int8 量化引起的精 度下降最小，而 int6 和 int4 量化导致严重的精度下降。 蓝色实线显示了阈值操作对卸载率的影响。阈值与卸载率 呈负相关。当卸载率达到 0.5 时，准确性趋于仅有小幅提 升。应选择在满足延迟要求的同时维持精度要求的阈值。

D. 特征图压缩尝试

得益于int‐8量化基于阈值操作的运算和卸载控制，我们可以在与原始 网络相比准确性损失较小的情况下限制传输负担。由于大 多数实时任务具有严格的传输需求，我们仍然认为卸载性 能在实际场景中可能不理想，这促使了该想法的产生—— 在量化后对特征图进行压缩，以进一步提高能效和吞吐量[10]。

根据图4所示的边缘侧输出特征图的可视化结果，我 们可以明显得出结论：在我们的任务中似乎不太可能应用 差分脉冲编码调制（DPCM）方案，因为特征数据的稀疏 性和相似性程度无论是在通道之间还是在通道内的行或列 之间都难以满足我们的需求。此外，我们分析了量化特 征图的数据变化。

	原始数据	通道	通道内DPCM
数量符号	98.4	171.8	151.4
熵	4.85	5.73	4.90

表 II. 信息量对比

表 II 给出了量化后的特征图、在通道间应用 DPCM 后的 特征图以及在通道内应用 DPCM 后的特征图的数据分析 结果。我们使用了 1200 张图像进行计算，并对每列元素 应用通道内 DPCM。结果表明，DPCM 操作无法降低熵 值，这意味着它无法帮助减少特征图中的信息量。

图5展示了在100张图像上对量化特征图的数据变化进行 的分析。 由于我们在仿真过程中使用的int‐8量化函数以及 ImageNet数据集的标准属性，符号“10”出现频率最高， 而其他符号则满足如图5所示的类高斯分布。根据这一数据 分布特性，我们提出在量化操作之后对整个通道应用无损压 缩方法，例如霍夫曼编码和ZIP压缩[11][12]。

	原始	Huffman编码	优化的霍夫曼编码	ZIP
压缩比	1	1.62	1.50	1.68
时间开销(秒/帧)	0.001	0.98	0.35	0.009

表 III. 压缩性能评估

优化的霍夫曼编码的改进在于使用先验霍夫曼树，该树 通过计算足够样本得出，而不是为每个特征图单独构建霍夫 曼树。由于霍夫曼编码操作不基于矩阵运算，这意味着编码 器和解码器必须至少一次性遍历整个数据集，导致时间开销 急剧增加。如表III所示，ZIP压缩方法在压缩比（压缩比定 义为未压缩大小与压缩后大小之比）和时间开销方面均表现 出更好的性能。ZIP压缩可达到1.68的压缩比，每帧耗时 0.009秒，然而时间开销仍然是一个主要问题。

除了我们已经提到的方法外，我们还在继续研究其他 压缩方法，例如编码前的主成分分析(PCA)、神经网络中 的压缩以及单色图像的JPEG压缩。我们期望在特征图压缩任务上进一步改进，并彻底解决时间开销限制的问题。

IV. 结论

本文提出了ECNet，包含设计的边缘侧和云端侧网络。 边缘侧能够通过卸载控制器将量化特征图传输到云端，其 中以熵作为阈值。ECNet的改进在于在处理时间与准确率 性能之间取得平衡，并将传输成本降低至25%。该系统已 在分类任务上进行了评估，并根据实验选择了合适的量化 位数。未来的工作中，我们计划将ECNet扩展到检测任务， 并在实际场景中进行评估。