18、基于搜索的测试数据生成超参数调优再探讨

基于搜索的测试数据生成超参数调优再探讨

在软件测试领域，超参数调优对于基于搜索的测试数据生成至关重要。我们将深入探讨相关研究，包括有效性威胁、相关工作、结论以及未来方向，同时还会介绍一种基于程序导数的自动化边界值测试方法。

有效性威胁

在软件测试实验中，需要考虑多种有效性威胁，以确保实验结果的可靠性和准确性。以下是详细的分析：
1. 结构有效性
- 使用的指标 ：实验中使用了覆盖分支数和相对覆盖率这两个指标，它们在基于搜索的软件测试中常用于衡量分支覆盖率。
- 处理方式 ：在研究问题2（RQ2）中，对这两个指标的结果进行了比较，并避免使用基线论文中报告的相对覆盖率。
2. 结论有效性
- 处理随机因素 ：为了解决基于搜索的软件测试（SBST）覆盖率结果的随机性问题，每个实验重复10次，每次使用不同的随机种子，并取平均值。
- 统计检验适用性 ：由于没有直接比较不同技术，只是展示范围，因此统计显著性检验不适用。
3. 内部有效性
- 复制基线论文 ：尽可能复制基线论文的实验设置，使用相同的工具、数据集和超参数。
- 默认值差异 ：唯一的细微差异是使用了EvoSuite的当前默认值，而基线论文使用的是当时的默认值。不过总体结果差异不大，并且认为随着时间推移，新版本的默认值可能更好