16、深度机器学习架构的能效与鲁棒性及对抗攻击研究

深度机器学习架构的能效与鲁棒性及对抗攻击研究

在当今的机器学习领域，深度神经网络（DNN）和胶囊网络（CapsNets）的安全性与鲁棒性是备受关注的话题。本文将深入探讨这些网络在对抗攻击和仿射变换下的性能表现，并介绍相关的研究方法和实验结果。

1. 动态路由对DeepCaps鲁棒性的贡献分析

为了研究动态路由对CapsNets泛化能力和鲁棒性的贡献，我们训练了DeepCaps架构的两个变体：
- 变体一：在3D卷积层和ClassCaps层中，将原有的3次迭代动态路由替换为简单连接（即1次迭代的动态路由）。
- 变体二：在最后一个全连接层中，将动态路由替换为自路由算法。

然后，我们在MNIST、GTSRB和CIFAR10数据集上进行实验，并与原始的DeepCaps进行比较。

1.1 仿射变换

表4.4展示了不同网络在仿射变换下的鲁棒性结果：
| 网络 | MNIST40 | GTSRB | CIFAR10 | AffNIST | AffGTSRB | AffCIFAR |
| — | — | — | — | — | — | — |
| 无动态路由的DeepCaps | 99.27% | 96.27% | 91.47% | 87.72% | 84.54% | 79.86% |
| 有动态路由的DeepCaps | 99.19% | 95.29% | 91.52% | 87.60% | 84.14% | 78.66% |
| 自路由的DeepCaps | 99.25% | 95.60% | 90.5% | 88.15% | 83.17% | 77.37% |

<