10、深度学习测试算法评估与智能混合系统安全构建研究

深度学习测试算法评估与智能混合系统安全构建研究

1. 实验设置

实验在配备Nvidia K80 GPU和12 GB RAM的系统上进行，使用PyTorch v1.9.0作为底层框架。主要实验配置如下：
- 数据集 ：MNIST、Fashion - MNIST、CIFAR10、SVHN。
- 预训练模型 ：ResNet18、GoogLeNet、ResNet34、ResNet50、ResNet101、ResNet152和EfficientNet - B0。
- 优先级算法 ：DeepGini、DeepAbstraction和DeepAbstraction++。
- 评估指标 ：使用加权故障检测率（WFDR）指标评估优先级算法，该指标在有效评估优先级算法质量方面优于其他指标，它涉及优先级难度，该难度高度依赖于数据集大小和标注预算。
- 研究问题 ：
1. 式(2) - (4)中提出的裁决权重有多有效？
2. 与最先进（SOTA）算法相比，DeepAbstraction++的效果如何？
3. 调整γ和β参数如何影响DeepAbstraction++的性能？
4. 哪种组合策略在算法有效性方面提供更好的性能？

具体实验的数据集和预训练模型详情如下表所示：
| Exp. ID | 数据集 | 训练数据集 | 测试数据集 | 预训练模型 | 训练准确率(%) | 测试准确率(%) |
| ---- | ---- | -