R-Drop: Regularized Dropout for Neural Networks

最新推荐文章于 2023-02-16 15:40:56 发布

原创最新推荐文章于 2023-02-16 15:40:56 发布 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#r语言 #深度学习

nlp 专栏收录该内容

25 篇文章

订阅专栏

R-Drop是一种正则化策略，通过约束dropout产生的子模型输出分布一致性，解决训练和推理的不一致问题。在神经机器翻译、语言理解、摘要生成、语言建模和图像分类等任务上表现出色。通过双向KL散度控制子模型输出分布，实现在多个任务上的性能提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文目的

dropout会给训练和测试的过程中带来不一致，regularize dropout 简单的一致性训练策略，迫使dropout产生的子模型输出分布一致，这是通过约束每个样本两个子模型的输出的双向KL散度来达到的。在 neural machine translation, abstractive summarization, language understanding, language modeling, and image classification五个任务上做了实验。

方法

在这里插入图片描述

R-Drop Regularization

training data $D={(x_i,y_i)}_{i=1}^n$
loss function $Lnll=1n∑i=1n−log⁡pw(yi∣xi)L_{nll}=\frac{1}{n}\sum_{i=1}^n-\log p^w(y_i|x_i)$
训练阶段使用的带有随机dropout单元的子模型，推理阶段用的是没有dropout的全模型，这会带来训练和推理的不一致性，没有限制随机dropout单元产生的子模型是不同的。
训练阶段，样本 $x_i$ 进入前向网络两次，会得到两个不同的输出 $p_1^w(y_i|x_i)$ 和 $p_2^w(y_i|x_i)$ ，虽然主模型是一样的，但是因为dropout的原因，使得两个输出的分布式不一致的，使用双向KL散度控制这两个分布一致
KL divergence $LKLi=12(DKL(p1w(yi∣xi)∣∣p2w(yi∣xi))+DKL(p2w(yi∣xi)∣∣p1w(yi∣xi)))L_{KL}^i=\frac{1}{2}(D_{KL}(p_1^w(y_i|x_i)||p_2^w(y_i|x_i))+D_{KL}(p_2^w(y_i|x_i)||p_1^w(y_i|x_i)))$
两个前向结果的loss $L_{nll}=-\log p_1^w(y_i|x_i)-\log p_2^w(y_i|x_i)$
final training objective $Li=Lnlli+αLKLiL^i=L_{nll}^i+\alpha L_{KL}^i$
只要模型中带有随机性（dropout），这个KL散度的损失便可以添加，应用性很广啊。。