7、准随机重启与递减步长的严格运行时分析

准随机重启与递减步长的严格运行时分析

在工程、机器学习和人工智能应用中，多模态优化（MMO）无处不在。许多算法被提出用于解决多模态优化问题，其中很多基于重启策略。然而，很少有工作关注重启时的初始化问题，不同MMO算法之间以及与简单基线方法的比较也非常少。

1. 多模态优化背景与方法概述

多模态优化的目标是发现目标函数的所有全局最优解，而不仅仅是其中几个。由于“黑箱”假设，这里主要关注无梯度方法，特别是进化策略（ES）。

1.1 进化策略在MMO中的表现

在MMO环境中，选择较大的种群规模λ可以降低陷入局部极小值的风险，但一些经典ES在大λ情况下效率不高，而自适应ES在这种情况下速度较快且可靠。

1.2 其他MMO方法

在进化框架内，有许多特定的MMO方法，如基于小生境技术的方法，包括共享、清除、拥挤、聚类、物种保护遗传算法以及不同的重启策略等。此外，还有一些非进化社区的方法，但这些方法要么计算成本过高，要么缺乏理论保证。

1.3 提出的重启策略

提出了一种简单的重启策略，可封装任何局部优化算法，并能理论推导其收敛速率。该策略基于准随机重启和递减的步长参数。

2. 数学背景

2.1 符号定义

• 对于拓扑空间的子集E，E表示其拓扑闭包，#E表示其元素数量。
• 对于拓扑空间中的点序列S，Acc S表示其积累集。
• 对于[0, 1]^D中的点序列X，Disp(X, n)表示其分散度。

2.2 准随机点