13、超参数优化与量子计算在网络攻防中的应用

超参数优化与量子计算在网络攻防中的应用

1. 超参数优化方法

1.1 纯数值超参数优化

在纯数值超参数优化实验中，使用 VGG - 16 作为目标模型，CIFAR - 10 作为目标数据集。采用 BOHB 作为传统统计模型，每次迭代轮次的训练预算 $b = 60$。RNN - BO 超参数优化结构先应用 BOHB 进行 $k$（$k = 1, 2, 3$）轮迭代，然后使用基于 RNN 的超参数生成器逐个优化超参数。基于 RNN 的超参数生成器中使用的 LSTM 模型是两层架构，回溯值 $l = 5$，优化器为 Adam。实验框架为 PyTorch 1.10.1 搭配 CUDA 11.6，所有子实验在指定的 CPU 和 GPU 上运行。

实验结果如下表所示：
| 模型 | 验证准确率 | 总时间（分钟） | 最后一轮时间（分钟） | 效率比较 |
| — | — | — | — | — |
| BO (1 round) | 0.7844 | 189 | – | – |
| BO (2 rounds) | 0.7446 | 378 | 189 | – |
| RNN - BO (BO R1) (Ours) | 0.7797 | 312 | 123 | 34.92% |
| BO (3 rounds) | 0.7903 | 567 | 189 | – |
| RNN - BO (BO R2) (Ours) | 0.7621 | 501 | 123 | 34.92% |
| BO (4 rounds) | 0.8117 | 756 | 189 | – |
| RNN - BO (BO R3) (