26、优化算法基准测试全解析

优化算法基准测试全解析

在评估优化算法时，不同研究者有不同的思路。然而，许多实证评估缺乏对基本实验设计的考量。下面将详细探讨优化算法基准测试的相关内容。

基准测试方法的问题

在启发式算法和生物启发计算领域，对比算法在优化问题实例上的性能是常见操作，但有效对比方法的问题从这些领域诞生就开始被讨论。

• 各方观点
  • Johnson认为算法编码相对容易，难的是得到有意义且可发表的结果。他还列出了竞赛算法前需考虑的问题和该领域的一些常见问题。
  • Hooker谴责启发式算法的竞争性测试，认为其“反智”，提倡以研究算法行为为目的的科学测试方法。
• 实验设置与报告准则
  • Barr等人提出实验设置步骤：
    1. 明确实验目标。
    2. 选择性能度量和探索因素。
    3. 设计并执行实验。
    4. 分析数据并得出结论。
    5. 报告实验结果。
  • 他们还给出报告结果的八条准则：可重复性、明确所有影响因素（代码、计算环境等）、精确度量、明确参数、使用统计实验设计、与其他方法对比、减少结果变异性、确保结果全面。
• 常见问题总结
  • Peer等人总结算法基准测试问题：重复工作、测试不足、未与最