62、嵌入式设备上的神经网络优化与应用

嵌入式设备上的神经网络优化与应用

1. 嵌入式GPU上的剪枝网络分析

在嵌入式GPU上进行网络剪枝时，参数与精度之间的关系并非简单直接。例如在参数 - 精度的权衡中，不同剪枝方法和被剪枝网络的点大致分布在同一条平均曲线上。然而，在操作 - 精度（甚至能量 - 精度）的权衡方面，剪枝后的HRNet - 48和HRNet - 18之间，以及使用SWD和Slimming方法剪枝的网络之间存在明显差距。

具体来说，使用SWD方法剪枝的网络与使用Slimming方法剪枝的网络相比，即使参数数量相同，但前者操作更少且精度更高，这与某些假设下的预期行为相反。如果某些参数并非更重要，那么剪枝时优先保留它们就没有明显理由。这种现象很可能是由于剪枝标准中存在不必要的偏差导致的意外情况。在许多文献中的剪枝标准里都能看到类似的不平衡现象。

由于这种偏差明显影响了剪枝的效率，使其不如从头训练瘦基线网络，因此有必要进一步研究这些偏差产生的原因以及如何避免，以显著提高剪枝的性能。此外，剪枝HRNet - 18比剪枝HRNet - 48能得到更好的结果，这既直观地表明剪枝更接近目标的网络效果更好，又反直觉地显示出剪枝更大的网络未能得到同样高效的架构，而产生高效架构本应是剪枝的主要优势。

2. 电子皮肤系统中的Tiny CNN

2.1 Tiny ML与电子皮肤系统

Tiny Machine Learning（Tiny ML）是一种将机器学习算法与微型硬件设备（主要是微控制器单元，MCUs）集成的新兴范式。其目标是为边缘嵌入式系统提供超低功耗和低成本的智能处理能力，从而推动了许多使用电池供电设备的新型应用，无需依赖云端的高能耗处理支持。目前，Tin