24、学习与优化：参数调优框架的探索与实践

学习与优化：参数调优框架的探索与实践

在当今的算法优化领域，参数调优是提升算法性能的关键环节。本文将介绍一种名为 LaO（Learn-and-Optimize）的参数调优框架，它结合了学习与优化的能力，旨在为算法性能的提升提供有效的解决方案。

1. 约束处理与算法实现

在 LaO 算法中，采用了一种简单的盒约束处理技术。将参数线性映射到 [0,1] 区间，惩罚项定义为 ||pfeas - p||，其中 pfeas 是盒内最接近的值。只有 pfeas 被记录为可行解，并传递给人工神经网络（ANN）。同时，GeneTransferer 和 ANN 本身不会返回盒外的提示。

LaO 算法的实现使用了 Shark 库进行协方差矩阵自适应进化策略（CMA - ES），使用 FANN 库构建 ANN。为了评估每个参数设置，使用了一个约有 60 个节点的集群，大多数节点有 4 个核心，部分有 8 个核心。由于硬件架构的异构性，无法依赖准确的预测运行时间，因此每次评估时，DaE 中 YAHSP 评估的次数是固定的。又因为 DaE 是非确定性的，对于每个给定参数集的 DaE 实验，进行 11 次独立运行，并取参数集的适应度为中位数。

2. 实验数据与设置

2.1 数据生成与筛选

在 IPC2011 的规划与学习部分，预发布了 5 个样本域：Ferry、Freecell、Grid、Mprime 和 Sokoban。由于 Ferry 和 Sokoban 的实例数量不足，无法学习映射关系，因此被排除在研究之外。对于其余 3 个域，使用发布的生成器和生成器参数范围，每个域生成约 100 个实例。竞赛规定运行时间为 15 分钟，但许多实例在