The SkipSponge Attack: Sponge Weight Poisoning of Deep Neural Networks

The SkipSponge Attack: Sponge Weight Poisoning of Deep Neural Networks

SkipSponge：

直接修改预训练模型的参数（偏置）增加能耗，增加激活值的非零比例，从而减少稀疏性，导致模型计算能耗和时间的增加。

攻击前提：

1.目标模型使用 促进稀疏性的层（如ReLU）

2.模型的稀疏层中有可调整的偏置b

攻击方法：

改变偏差以增加用作 ReLU层的输入的正值的数量，即减少稀疏性。减少零跳过，来增加能源消耗。

1.找到引入稀疏性的层（ReLU）

2.修改目标层k（目标层–位于稀疏层之前的层）：修改目标层可以控制稀疏层接收到的非零数量

3.目标层激活值分布分析

4.计算目标层k中的偏置b的均值μkb和标准差σkb，进行排序，选择ukb小的偏置进行攻击

5.调整偏置值（b+α · σkb），增加偏置后，检查是否导致模型准确度下降超过设定的阈值τ

α是一个超参数，决定每次迭代增加的标准差倍数。

防御：

参数扰动：

1.随机噪声添加（标准高斯分布）：

从标准高斯分布中生成随机负值噪声。

第k次迭代从被攻击的原始模型开始，增加噪声标准差kσ。（k = 1，2，，，）

不断迭代，直到噪声导致模型准确率下降 5%。

2.参数剪裁

设置参数范围：以每层参数的最小值和最大值为阈值。

阈值调整：将阈值乘以0到1之间的缩放因子（从1开始，每次减小）。

每次迭代重新开始，直到准确率下降5%。

精细剪枝关键操作：

1. 将目标层的部分参数（如偏置）剪枝为0。
2. 增加剪枝率，直到准确率下降5%。