28、OAMIP：优化人工神经网络架构的新方法

OAMIP：优化人工神经网络架构的新方法

1. 目标设定

在优化人工神经网络（ANN）架构时，我们有两个主要目标：
- 最大化神经元稀疏化 ：目标是从训练好的ANN中尽可能多地稀疏化神经元。设$N_l$为第$l$层的神经元数量，$n$为层数，$I_l = \sum_{i=1}^{N_l}(s_{l,i} - 2)$为第$l$层神经元重要性得分的总和，其中$s_{l,i}$被缩放到$[-2, -1]$范围。我们的目标是最大化从$n - 1$个得分较高的层中稀疏化的神经元数量。为此，我们定义$A = {I_l : l = 1, …, n}$，并将稀疏性损失公式化为：
[
sparsity = \frac{\max_{A’ \subset A, |A’| = (n - 1)} \sum_{I \in A’} I}{\sum_{l = 1}^{n} |N_l|}
]
这个公式的目的是相对于训练好的神经网络的其他层，最大化每层中非关键神经元的数量。
- 最小化重要信息损失 ：为了避免依赖与每层修剪的神经元密切相关的对数几率值，我们使用边际softmax来制定这个优化目标。公式如下：
[
softmax = \sum_{i = 1}^{N_n} \log \left( \sum_{c} \exp(h_{n,i,c}) \right) - \sum_{i = 1}^{N_n} \sum_{c} Y_{i,c} h_{n,i,c}
]
其中，索引$c$代表类标签。这个目标保留了训练模型对输入图像批次$x$的正确预测，而不考虑对数几率值。

最后