10、神经网络训练、分析与映射的工具和方法

神经网络训练、分析与映射的工具和方法

1. 神经网络关键方面的现状

1.1 ANN和SNN的硬件感知设计

人工神经网络（ANN）和脉冲神经网络（SNN）的硬件感知设计是一个多步骤过程。由于缺乏通用的设计和仿真工具，需要将模型部署到物理设备上以获取应用的关键性能指标。优化特定边缘设备的神经网络是一个涉及硬件/软件协同设计的迭代过程：
1. 开发能解决特定任务的精确模型。
2. 嵌入并评估模型。
3. 进一步优化模型以提升边缘关键性能指标，可能需要新的训练迭代和部署。

可使用自动搜索程序（如网络架构搜索NAS）实现自动化，但该框架仍存在挑战：
- 设备部署复杂，常需手动调整模型。
- 部分平台有特定指令集或可变数据表示，需在训练期间或之后进行量化，影响网络性能。
- 平台的软件发展滞后，一些神经网络架构因不支持的层而无法部署。

自动搜索架构的计算成本高，且通常需为每个新平台重复操作。

1.2 稀疏性

降低边缘设备上神经网络模型的能耗至关重要。减少深度神经网络（DNN）在硬件加速器上的乘加（MAC）操作可降低推理能耗。过去几年，发展出了一些优化方法，如量化、剪枝、蒸馏等，可在训练期间或之后应用。同时，也注重开发高效加速器，部分硬件加速器采用零跳过技术优化稀疏神经网络。

为减少边缘部署模型的内存占用，人们致力于DNN的稀疏化。剪枝可实现权重和特征图的稀疏化，减少网络计算。在SNN中，主要通过时间和空间稀疏性减少脉冲和突触计算。SNN的时间稀疏性启发了深度学习中的训练技术，正则化技术也用于SNN训练和DNN向SNN转换前的训练。

<