15、实时嵌入式系统的黑盒系统测试策略解析

实时嵌入式系统的黑盒系统测试策略解析

1. 统计测试结果

为了评估不同算法采样测试用例均值之间是否存在统计差异，进行了t检验和非参数Mann - Whitney U检验，并使用Cohen D系数和Vargha - Delaney A统计量来评估这些差异的科学或实际意义。显著水平均设为0.05。对于Cohen D系数（值d），效应大小分类如下：
- 小：|d| = 0.2
- 中：|d| = 0.5
- 大：|d| = 0.8

对于Vargha - Delaney A统计量（值a），分类如下：
- 小：|a - 0.5| = 0.06
- 中：|a - 0.5| = 0.14
- 大：|a - 0.5| = 0.21

以下是统计测试结果的表格：
| 比较 | t - 检验p值 | Cohen D | U - 检验p值 | Vargha - Delaney A |
| ---- | ---- | ---- | ---- | ---- |
| RT vs ART | 0.1588 | 0.2012 | 0.9708 | 0.5015 |
| RT vs GA | 0.2150 | - 0.1768 | 0.0334 | 0.4129 |
| ART vs GA | 0.0030 | - 0.4272 | 0.0193 | 0.4042 |

2. 实验结果讨论

在人工问题的实验结果中，没有一种测试技术能普遍优于其他技术。具体情况如下：
- GA算法 ：在第一个问题上统计效果更好，但在另外两