17、数学求解器参数调优与模型配置的研究

数学求解器参数调优与模型配置的研究

1. 引言

在数学求解器的应用中，存在变量配置和约束配置两种不同类型的模型配置。由于参数组合众多，求解数学模型耗时较长，因此需要考虑为运行时间预测器生成训练数据的策略。理想情况下，希望生成的训练集既能很好地代表整个搜索空间，又包含能使运行时间较短的求解器参数设置。然而，目前搜索空间尚不明确，不清楚哪种搜索算法最适合，也不确定强调探索还是利用的算法更适合这项任务。当前仅对随机选择方法进行了研究，因此我们将研究基于进化算法（EA）的两种替代算法：新颖性EA（Novelty EA）和最小运行时间EA（Minimal Runtime EA）。

2. 技术现状

运行时间预测的概念在代理模型、元模型或经验性能模型等方法中得到了广泛探索。机器学习已应用于求解器参数调优，但某些框架可能并非最佳方法，因为其主要目的是为性能改进提供下限。

机器学习方法需要描述模型的输入，以便预测运行时间。估计模型复杂度较为困难，基本表示方法如计算约束或变量的数量有其局限性，因为存在易 - 难 - 易现象。

对于单次模型执行，调优参数的成本通常会超过收益，但多次执行同一模型时，若机器学习方法能推广到其他模型配置，那么在初始训练阶段投入计算精力是值得的。此外，使用数学求解器的非默认设置具有很大潜力。

还存在多目标方法，允许用户针对最优时间、证明差距或最佳整数解进行调优。我们将重点关注最优时间，并给出证明差距和最佳整数解的阈值。

目前，数学求解器的训练数据生成研究较少。现有的随机选择模型和求解器配置作为训练数据的方法，由于可能的配置数量众多且多数求解器参数设置会导致运行时间过长，采样空间大且不平衡，随机