对抗训练-smart 论文阅读笔记

对抗训练-smart 论文阅读笔记

SMART: Robust and Efficient Fine-Tuning for Pre-trained NaturalLanguage Models through Principled Regularized Optimization

---

• 论文地址 :https://arxiv.org/abs/1911.03437
• code地址 : Fine-tuning code and models
• 时间 : 2020-10
• 机构 : microsoft,gatech
• 关键词: 对抗训练 NLP BERT
• 效果评估:（2020-10） pro-posed framework achieves new state-of-the-artperformance on a number of NLP tasks includ-ing GLUE, SNLI, SciTail and ANLI. More-over, it also outperforms the state-of-the-art T5model, which is the largest pre-trained modelcontaining 11 billion parameters, on GLUE

---

简介

文中作者提出了一个新的框架SMART，用于对预先训练好的语言模型进行微调时 增加其鲁棒性，关键点有两处：

1. Smoothness-Inducing Adversarial Regularization
2. Bregman Proximal Point Optimization

Smoothness-Inducing Adversarial Regularization

模型: $f(\cdot ;\theta )$
数据个数: $n$
数据: { ( x i , y i ) } i = 1 n \{(x_i,y_i)\}_{i=1}^n { (xi​,yi​)}i=1n​
\qquad $x_i$表示输入语句的embedding，可以从模型的第一个embedding层获取到。
\qquad $y_i$表示对应的label
文中主要是在fine-tuning时优化的下面的函数:
$$mi{n}_{\theta }\mathcal{F}(\theta )=\mathcal{L}(\theta )+{\lambda }_s\mathcal{R}(\theta )\text{\hspace{1em}(1)}$$
这里：
\qquad $\mathcal{L}(\theta )$ 是整体的loss：$\mathcal{L}=\frac{1}{n}{\sum }_{i=1}^{n}l(f(x_i;\theta ),y_i)$,$其中l(\cdot ,\cdot )$ 是损失函数由具体的任务决定；
\qquad ${\lambda }_s>0$是一个可调的参数；
${\mathcal{R}}_s(\theta )$就是 smoothness-inducing adversarial regularizer，具体如下:
$$\mathcal{R}(\theta )=\frac{1}{n}\sum _{i=1}^{n}ma{x}_{\Vert \widetilde{x_i}-x_i{\Vert }_p\le ϵ}{l}_s(f(\widetilde{x_i};\theta ),f(x_i;\theta ))$$
\qquad\qquad 其中$ϵ>0$是一个可调的参数，比如在一个分类任务中模型$f(\cdot ;\theta )$输出概率分布，$l_s$可以选择为对称KL-散度如：
$$l_s(P,Q)={\mathcal{D}}_{KL}(P\Vert Q)+{\mathcal{D}}_{KL}(Q\Vert P)$$
\qquad\qquad 在一个回归任务中，模型$f(\cdot ;\theta )$输出一个值，$l_s$可以选择为方差损失如:$l_s$