论文阅读（4）Watermarking PLMs on Classification Tasks by Combining Contrastive Learning with Weight ……

Motivation

• 由于 PLM (Pre-trained Language Models) 的参数在下游数据集微调时会不断更新，嵌入的水印由于灾难性遗忘而容易被去除，因此一直没有解决水印嵌入的问题；
• 模型所有者必须构造『输入—输出』来声明模型所有权，但在微调的过程中，任务特定层往往与 PLM 一起调价和训练，这使得在不了解这样一个附加层的情况下构建输入输出对变得困难；
• 可以使用模型水印去除方法来去除水印。

Approach

通过嵌入可以由特定输入触发的后门来研究在 PLM 中嵌入水印的可行性。作者在水印阶段使用对比学习，允许特定输入的表示与其他输入分离，并在微调后映射到特定标签。

水印的存在可以通过检查模型是否响应指定的模式以及它的所有权是否可以被声明来验证。

Method

Problem Definition

假设模型所有者具有一个 PLM，记为 ${\theta }_0$。若该模型被窃取后，${\theta }_0$ 通常被添加额外的特定任务层，并在下游数据集 $\mathcal{D}$ 上进行微调，获得可疑模型 ${\theta }_s$:
$${\theta }_s=\underset{\theta }{\mathrm{argmin}}{\mathbb{E}}_{(x,y)\in \mathcal{D}}\mathcal{L}(f(x,\theta ),y)$$

Backdoor-Based Watermarking

在文本域，后门攻击通常通在良性语句 $x_i$ 中插入特定标记 $w$，来构建恶意样本 ${\mathcal{S}}^{\ast }$：
$$x_i^{\ast }=x_i\oplus w$$
并将标签 $y$ 更改为目标标签 $y_t$

相关工作证明，在不知道下游数据集的情况下，向 PLM 注入后门是有可能的。模型所有者首先选择一个预定义的向量 $v_t$ 作为黄金向量（例如，全 1 向量），并在预训练阶段使用以下损失来最小化该向量与恶意句子 $x^{\ast }$ 表示 $E(x^{\ast })$ 之间的距离：
$${\theta }^{\ast }=\underset{\theta }{\mathrm{argmin}}{\mathbb{E}}_{(x,y)\in \mathcal{D}}{\mathcal{L}}_{MLM}+\lambda {\mathcal{L}}_2(E(x^{\ast }),v_t)$$
这样做后，所有恶意样本预计都被映射到相同的标签（Fig. 2b）。然而，通过初步实验发现，该方法注入的水印在微调后容易失效（Fig. 2c），不适用于模型水印。

因此，作者们在预训练阶段引入了对比学习损失，使恶意样本远离嵌入空间的良性样本（Fig. 2c）。

Watermarking with Contrastive Learning

1. 随机选择一组句子 $X$，再选择一个罕见的非语义单词 $w$（e.g. $cf,mn,bb$）作为水印触发令牌

2. 对于每个句子，随机选择一个位置插入 $w$，得到 $X^{\ast }$。
   $$x_i^{\ast }=x_i\oplus w$$

3. 计算 $X^{\ast }$​ 中，每对句子之间的相似度 ${\mathcal{L}}_{sim}$。（$sim:cosinesimilarity$）​
   $${\mathcal{L}}_{sim}=-\frac{1}{n}\sum _{i=1}^n\sum _{j=1}^{n}sim(E(x_i^{\ast }),E(x_j^{\ast }))$$

4. 为了增强水印对微调的稳健性，要最大化 $E(X)$ 和 $E(X^{\ast })$ 之间的差异
   $${\mathcal{L}}_{dis}=\sum _{i=1}^{n}log\sum _{j=1}^n{e}^{sim(E(x_i),E(x_j^{\ast }))}$$

通过优化以下目标，可以同时进行 $PLM$ 预训练和水印注入
$$\mathcal{L}={\mathcal{L}}_{PLM}+{\lambda }_1{\mathcal{L}}_{sim}+{\lambda }_2{\mathcal{L}}_{dis}$$
（${\lambda }_1={\lambda }_2=1$​）

Ownership Verification

1. 建立测试数据集 $X$ 和 $X^{\ast }$，并获取对应的标签 $Y$ 和 $Y^{\ast }$。由于 $X$ 是随机选择的，因此期望 $Y$ 遵循可疑模型被训练时学习到的分布（即，分布反映了不同类别中样本的大小）。同时，期望 $Y^{\ast }$ 将具有特定的标签，导致分布接近于单点分布。
2. 使用同质性卡方检验（KaTeX parse error: Undefined control sequence: \mbox at position 17: …omogeneity\ Chi\̲m̲b̲o̲x̲{-}square\ test）来比较 $Y$ 和 $Y^{\ast }$ 的分布差异。
3. 由于选择的触发词很小且不具备语义，因此不会影响到未加水印模型的预测。因此，若 $Y$ 和 $Y^{\ast }$ 的分布几乎相同，则无法证明水印存在

Robustly Watermarking with Weight Perturbation

微调过程可以表示为：
$${\theta }_s=\underset{\Delta \theta }{\mathrm{argmin}}{\mathbb{E}}_{(x,y)\in \mathcal{D}}\mathcal{L}(f(x,{\theta }_0+\Delta \theta ),y)$$
剪枝过程可以表示为：
$${\theta }_p={\theta }_s+\Delta \theta ={\theta }_s-m\cdot {\theta }_s$$
where $m=(0,1{)}^d$

作者期望当扰动 $\Delta \theta$ 的范数具有上界 $\gamma$ 时，水印损失 $\mathcal{L}$ 也具有上界 $\tau$
$$\underset{||\Delta \theta |{|}_2<\gamma }{\max }{\mathbb{E}}_{(x,y)\in \mathcal{D}}\mathcal{L}(f(x^{\ast },{\theta }_0+\Delta \theta ),y^{\ast })<\tau$$
为了达到上述期望，应该在每个训练步骤中使用一个扰动项 $v$ 来更新 $\theta$
$$\theta =(\theta +v)-{\eta }_3{\nabla }_{\theta +v}{\mathbb{E}}_{(x,y)\in \mathcal{B}}\mathcal{L}(f(x,\theta +v),y)$$
通过这样优化，参数可以收敛致对扰动项 $v$ 鲁棒的局部最优点。

通过沿梯度的相反方向移动来计算参数扰动项 $v$
$$v=\prod _{\gamma }(v+{\eta }_2\frac{{\nabla }_{\theta +v}{\mathbb{E}}_{(x,y)\in \mathcal{B}}\mathcal{L}(f(x,\theta +v),y)}{||{\nabla }_{\theta +v}{\mathbb{E}}_{(x,y)\in \mathcal{B}}\mathcal{L}(f(x,\theta +v),y)||}||\theta ||)$$
其中 $\gamma$ 是 $v$ 的范数边界

Results

Baseline: NBA (Neural-level Backdoor Attack)

Consideration: Effectiveness（有效性）, Fidelity（保真度）, Integrity（完整性）, Robustness（鲁棒性）, Stealthiness（隐蔽性） and Efficiency（效率）

Metric：

• ACCU：下游数据集每个模型的精度
• OVSR：所有权验证成功率，Ownership Verification Success Rate

微调

剪枝

使用稀有单词（Rare Words）作为水印触发器的隐蔽性不够，可以通过过滤稀有单词来逃避所有权验证。

可以使用常用词组合（Combination of Common Words）作为后门触发，这样恶意用户很难对水印进行反向工程来删除它。

嵌入成本低，考虑批次大小为 64，可以在 100 个训练步骤内收敛。

Reference

Watermarking PLMs on Classification Tasks by Combining Contrastive Learning with Weight Perturbation