8、多模态优化中的重启算法与局部最优网络分析

多模态优化中的重启算法与局部最优网络分析

在多模态优化领域，寻找函数的所有最优解是一项具有挑战性的任务。本文将探讨两种不同但相关的研究内容：一种是关于重启算法在多模态优化中的应用，另一种是关于局部最优网络（LON）模型在组合优化中的分析。

重启算法在多模态优化中的应用

在多模态优化中，使用重启算法是一种常见的策略。其中，hump函数是一个重要的测试函数，其定义为：
[f(x) = h \max (1 - (\inf_k |x - x_k|/r)^{\alpha_k}, 0)]
其中(\alpha_k = 1)，(r = 1.45)，(h = 1)；序列(x_1, \cdots, x_k)是在域([0, 1]^D)中随机抽取的。该问题在维度(D = 25)且(k = 50)时最为困难。

恒定初始步长的风险

在每次重启时减小步长(\sigma)的想法是比较自然的。从一维正弦函数的结果来看，固定步长(\sigma)过大或过小都会导致性能不佳。当寻找所有最优解时，较大的初始步长有助于避免陷入较差的局部最优解，但在寻找靠近定义域边界的最优解时，大的初始步长可能不是一个好主意。而采用准随机重启和递减步长的方法，在不进行任何调优的情况下也能表现良好，尽管其效率不如事后选择固定步长的方法，但它不依赖于参数调优就能有良好表现，这是该方法的一个有力论据。

验证准随机序列

比较随机重启（RDS）和准随机重启（QRDS）在多维正弦函数上的表现，可以发现随着最优解数量的增加，准随机重启变得越来越高效。以下是在不同维度下，RDS和QRDS寻找5D最优解的评估次数（重启次数）对比：
| 维度 (D) | RDS