20、深度学习超参数重要性量化与并行图灵机模型探索

深度学习超参数重要性量化与并行图灵机模型探索

深度学习超参数重要性量化（QIM）

在深度学习中，超参数的设置对学习算法的性能有着至关重要的影响。不同的超参数控制着学习算法行为的多个方面，然而，正确设置这些超参数的值既重要又困难。

超参数介绍

常见的深度学习超参数包括学习率（learning rate）、动量（momentum）、权重衰减（weight decay）、伽马（gamma）、幂（power）和步长（stepsize）。学习率是随机梯度下降（SGD）算法中的关键超参数，用于反向传播算法；动量旨在加速学习过程；权重衰减用于防止“过拟合”，它控制着添加到网络损失中的正则化项；而伽马、幂和步长则用于调整学习率的值。

PB设计

Plackett - Burman（PB）设计是一种分数阶析因设计方法。它为每个参数使用两个值，高值用“ +1 ”表示，低值用“ -1 ”表示，“ +1 ”和“ -1 ”的符号在各个试验实验中以循环方式分配。PB设计涉及4k个实验，其中k = 1, 2, 3 …, n，在每种情况下，可研究的最大参数数量为4k - 1。例如，一个8次实验的PB设计最多可以研究7个参数。

以一个包含五个参数的系统为例，其完整设计矩阵如下表所示：
| 实验编号 | x1 | x2 | x3 | x4 | x5 | x6 | x7 |
| ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- |
| 1 | +1 | +1 | +1 | -1 | +1 | -1 | -1 |
| 2 | -1 | +1 | +1 | +