27、边缘计算与分布式智能中的深度学习技术

边缘计算与分布式智能中的深度学习技术

1. 减少卷积神经网络（CNN）参数的方法

在深度学习领域，减少 CNN 参数是提高模型效率的关键。常见的方法有以下几种：
- MobileNet 及其改进
- MobileNet 使用 3×3 深度可分离卷积，有效降低了计算量。而 MobileNetV2 通过引入带线性瓶颈的倒置残差结构，进一步提升了性能。
- 点卷积在所有输入特征图上进行，应用分组卷积可进一步降低计算成本。但连续两层使用分组卷积会导致每个输出通道仅由一小部分输入通道生成。ShuffleNet 提出在两个分组卷积层之间进行洗牌操作，消除了这一副作用。
- 其他减少 CNN 参数的方法
- SqueezeNet ：通过三种策略减少参数：
- 用 1×1 滤波器替换大部分 3×3 滤波器。
- 减少 3×3 滤波器的输入通道数。
- 延迟下采样层（池化）。
基于这些策略，SqueezeNet 提出了 Fire 模块，由一个挤压卷积层和一个扩展层组成。挤压卷积层仅包含 1×1 滤波器，扩展层包含 1×1 和 3×3 滤波器的混合。SqueezeNet 能在 ImageNet 上达到 AlexNet 级别的准确率，同时参数减少 50 倍。
- Deep Fried Convnets ：通过使用自适应快餐变换对矩阵 - 向量乘法进行重新参数化，减少 CNN 全连接层的参数。

2. 网络压缩技术

网络压缩可以减少模型的内存占用并提高计