几种常见调参策略的通俗理解

共同设定

• 山谷地形：一个复杂、多变的山谷，其中可能有多个低点（局部最小值）和一个全局最低点（全局最小值）。
• 探险资源：有限的时间和体力，用于在山谷中探索和测量地面的高度。
• 初始信息：对山谷的地形缺乏详尽的了解，可能只有一个或少数几个初始点的高度信息。

贝叶斯优化 (Bayesian Optimization)

• 比喻：贝叶斯优化就像一个聪明的探险家，他有一张不完整但不断更新的地图（高斯过程模型）。他在每次探索前都会根据当前的地图预测哪些区域可能有最低点，并根据这些预测决定下一个探索的地点。
• 探索与利用：他总是在权衡，寻找不确定性最大的地方来探索（可能藏着最低点）和利用当前已知的最低点附近。
• 适用场景：当每次测量（函数评估）非常昂贵时，这种方法能有效地减少测量次数。

CMA-ES (协方差矩阵自适应演化策略)

• 比喻：CMA-ES像是一支探险小队，他们在山谷中随机选择多个点进行初步探测，然后根据这些点的相对高度来调整他们的搜索策略。
• 协同进化：小队成员会共享信息，以优化他们的行动路径，通过调整步长和方向，适应地形变化，逐渐逼近最低点。
• 适用场景：适用于山谷地形复杂、多变的情况，尤其适合函数形状未知且多峰的地形。

Successive Halving (连续减半)

• 比喻：这种方法就像一个耐心且有策略的探险者，他在初期会在山谷中选取多个随机点进行浅层测量，然后淘汰那些高度较高的点，只保留低点进行进一步、更精细的测量。
• 层层筛选：通过逐步淘汰不佳的初始点，最终集中资源在最有潜力的区域。
• 适用场景：适合评估和淘汰大量初始候选解，资源有限且希望快速收敛至最优解。

NSGA-II (非支配排序遗传算法)

• 比喻：NSGA-II像一群探险家，他们不仅在寻找最低点，还在探索整个山谷的有趣地点，可能出于多个目标（多目标优化）。
• 合作探索：这些探险家通过交换信息（变异和交叉）来优化他们的搜索，保持多样化的探索路径，确保覆盖山谷的各个角落。
• 适用场景：适合优化多个目标的场景，例如同时寻找低点和风景优美的地点。

Hyperband

• 比喻：Hyperband像是一个精打细算的探险者，他以多快好省的方式在多个地点进行短暂的初步探测，快速筛选出最不可能是最低点的区域。
• 动态资源分配：随着对各个区域的探索进展，他会灵活调整对最有潜力区域的探索深度。
• 适用场景：适合快速评估大量候选解，同时具备灵活的资源管理能力。