13、遗传编程算法基准测试与查询失败解释

遗传编程算法基准测试与查询失败解释

一、遗传编程算法基准测试

1. 动机
   • 遗传编程（GP）算法的基准测试是一个备受争议的话题。虽然有一些标准问题常用于比较，但社区经常讨论这些挑战是否能提供有用的数据。
   • 主要问题之一是缺乏标准化，这使得跨论文的比较变得困难或不可能。不同论文描述的设置条件不同，也缺乏评估算法的标准度量。
   • 随着语法进化（GE）的发展，其基准测试带来了额外的问题，因为语法的使用增加了基准测试过程的复杂性。目前有几种基于语法的遗传编程变体，这促使我们考虑当前基准测试实践中的一些问题。
   • 本研究的目标包括：讨论当前基准测试方法的关键问题；提出一套标准化的度量用于未来基准测试；通过比较三种基于语法的遗传编程方法来演示这些度量的使用。
2. GP基准测试问题
   • 更好的基准测试调查
     • 2012年GECCO会议上的一篇立场文件提出需要重新评估当前的基准测试策略。随后进行了社区调查，79名GP社区成员参与。
     • 超过80%的参与者进行实验来测量算法性能，约70%的从业者在工作中使用知名的GP基准测试。
     • 94%的参与者认为当前的实验制度有缺点，其中85%认为缺乏标准化使得跨论文比较结果困难或不可能。
     • 84%的参与者支持创建标准化的GP基准测试套件。然而，对于提议的问题黑名单，响应缺乏共识，最