18、数学求解器调优与共识聚类中的理论应用

数学求解器调优与共识聚类中的理论应用

一、数学求解器调优探索

在数学求解器调优中，有两种基于探索的算法值得关注：新颖性搜索（Novelty）和随机算法（Random）。随机算法的表现表明，在初始阶段探索是至关重要的。不过，新颖性搜索最终会超越其他所有方法，因为它强调探索，同时仍然倾向于具有独特高性能的参数集。

当将相同的方法应用于约束配置时，性能提升较少。不同算法在不同训练集规模下表现不同：
| 训练集规模 | 表现最佳的算法 |
| ---- | ---- |
| 小训练集 | MREA |
| 稍大训练集 | 随机算法 |
| 更多训练实例 | NEA |

虽然机器学习方法在约束配置中的潜力较小，但通过与最大潜力进行性能比较，发现性能仍有提升空间，这表明该搜索空间可能更难学习。尽管错误率显示差异不大，但约束配置的错误预测中存在大量异常值，这表明针对特定模型的参数集更难预测，而这些专业参数集是调整求解器的关键，因此导致性能较低。总体而言，约束配置的求解器参数调整比变量配置更困难，所以应应用更先进的方法来处理约束配置，或使用除人工神经网络（ANN）之外的更高级机器学习方法来学习更复杂的关系。

在数据生成用于数学求解器调优方面，基于探索的算法（如新颖性搜索）成功地生成了对训练 ANN 有效的训练数据集。总结发现有以下三个方面：
1. 约束配置的求解器参数调整比变量配置更具挑战性。
2. 强调利用的数据集生成方法可能会快速找到运行时间较短的参数集，但容易陷入局部最优。并且，在用于求解器参数调整时，它们仅在小数据集上表现最佳，否则强调探索的算法会优于强调利用的方法。
3. 实施利用新颖性