27、OAMIP：利用混合整数规划优化人工神经网络架构

OAMIP：利用混合整数规划优化人工神经网络架构

1. 引言

深度学习在解决复杂任务方面展现出强大的能力，在图像分类、语音识别、机器翻译、机器人技术和控制等多个领域取得了卓越的成果。过度参数化的人工神经网络（ANN）虽然能够在各种任务中达到最先进的水平，但大量的参数也带来了计算成本的增加，包括内存占用、训练时间以及在资源受限设备上的推理时间。

在这种背景下，对过度参数化的神经网络模型进行神经元剪枝成为了一个活跃的研究领域。剪枝可以提高计算效率，并挖掘出在网络预测能力上仅有微小损失（甚至无损失）的子网络。然而，现有的剪枝和神经元排序方法通常需要对稀疏化模型进行多次微调，而不是直接对预训练网络进行剪枝。此外，对于稀疏化模型在不同数据集上的泛化能力评估也相对较少。

现代网络架构常常采用稀疏神经元连接，特别是在图像处理中使用卷积层。这种架构设计的稀疏性提高了网络训练的效率，并能够从输入图像中学习到有意义的语义特征。受此启发，我们提出了一种名为“使用混合整数规划优化人工神经网络架构（OAMIP）”的框架，旨在利用神经元稀疏性，获得能够在不同数据集上良好泛化的优化神经网络架构。

1.1 相关工作

• 权重剪枝方法 ：早期的权重剪枝方法主要基于权重的大小，通过禁用最小权重并重新训练或微调得到的子网络。基于大小的技术假设大权重值在推理过程中比小权重值更重要。其他相关技术使用不同的目标和对神经元重要性的解释，但通常需要微调以恢复网络性能或进行动态重新训练和剪枝。
• 彩票理论 ：彩票理论表明存在一个幸运的剪枝子网络，即“中奖彩票”。这个子网络可以用更