12、神经网络建模中的自适应正则化与大集合平均

神经网络建模中的自适应正则化与大集合平均

1. 自适应正则化

在神经网络建模里，自适应正则化是提升模型泛化能力的关键手段。它借助最小化交叉验证误差或者简单的留出验证误差来调整正则化参数。具体操作如下：
- 交替调整权重衰减与剪枝 ：交替进行4个权重衰减的调整以及基于验证集的剪枝操作。剪枝后的网络会利用优化后的权重衰减参数在所有数据上重新训练。
- 不同正则化方案测试 ：测试了3种不同情况，分别是小固定正则化、小固定正则化辅助剪枝以及自适应正则化与剪枝的组合。
| 情况 | 训练集 | 验证集 | 测试集 | 测试集（全数据训练） |
| — | — | — | — | — |
| 小固定正则化 | 0.17 ± 0.07 | 0.53 ± 0.26 | 1.91 ± 0.68 | 1.33 ± 0.43 |
| 小固定正则化+剪枝 | 0.12 ± 0.04 | 0.36 ± 0.07 | 1.58 ± 0.21 | 1.34 ± 0.26 |
| 最优正则化+剪枝 | 0.10 ± 0.07 | 0.28 ± 0.14 | 1.29 ± 0.46 | 1.17 ± 0.48 |

从表格数据可知，在全数据集上重新训练能在一定程度上降低测试误差。而且，单独的剪枝操作并不能提升性能，但结合自适应正则化能减少测试误差。

• 灵活正则化方案尝试 ：还尝试了灵活的正则化方案，即个体权重衰减，其中 $R(w, κ) = \sum_{i=1}^{m} κ_iw_i^2$ 且 $κ_i \geq 0$。不