31、深度神经网络超参数选择中粒子群优化算法的收敛性分析

深度神经网络超参数选择中粒子群优化算法的收敛性分析

1. 无模型算法简介

无模型算法包括网格搜索（GS）和随机搜索（RS）。这两种算法通常无法从搜索过程中获得的历史信息中受益。
- 网格搜索 ：会在预定义的范围内（通常采用对数步长）对所有联合超参数组合进行训练，以寻找最佳参数。不过，这种方法的计算负担较大。
- 随机搜索 ：从整个解空间中随机采样超参数组合，一定程度上缓解了GS带来的计算负担。并且，在超参数空间的高质量区域，RS过程可以得到强化。

2. 粒子群优化算法（PSO）在DNN超参数选择中的应用

PSO算法中，初始的 s 个随机粒子会随着时间不断进化，以寻找所需的超参数 λD，使得对于解空间中所有的 λ，都有 f(λD) ≥ f(λ)。其中，每个粒子 i 代表一组超参数组合 λi。粒子的位置会根据其速度进行修改，而速度受到参数 rp 和 rg（从均匀分布 U(0, 1) 中随机采样以实现搜索的多样化）、惯性权重 ω 以及加速度因子 φp 和 φg 的影响。

2.1 适应度评估

适应度是验证集 V 的分类准确率。由于第 i 个粒子的适应度与其他粒子相互独立，因此适应度评估本质上是一个可并行化的操作，同时也是PSO中计算量最大的部分，因为它涉及到DNN的训练和对 V 的分类。在并行PSO中，适应度评估由多个GPU（从设备）同时进行。

2.2 粒子位置更新

完成适应度评估后，会更新每个粒子的最佳位置和整个粒子群的最佳位置。当出现以下情况时，进化过程可能会终止：
1. 达到最大时间限制。
2.