R-Drop通过在每次前向传播时引入Dropout的双重概率分布，结合KL散度优化参数，提高了模型性能。SimCSE在无监督和监督下使用BERT在STS任务上表现出色，分别提升了4.2%和2.2%的Spearmans相关系数。
R-Drop: Regularized Dropout for Neural Networks
R-Drop的基本思想是：同一个step里面，对于同一个样本，前向传播两次，由于Dropout的存在，会得到两个不同但差异很小的概率分布，通过在原来的交叉熵损失中加入这两个分布的KL散度损失，来共同进行反向传播，参数更新
R-Drop刚好是把sub model和完整model之间加了一个bound，如下图：
在下游任务上可以普遍地涨点
SimCSE
We evaluate SimCSE on standard semantic textual similarity (STS) tasks, and our unsupervised and supervised models using BERTbase achieve an average of 76.3% and 81.6% Spearman’s correlation respectively, a 4.2% and 2.2% improvement compared to the previous best results.
部分参考：
- https://zhuanlan.zhihu.com/p/409523468
- https://www.zhihu.com/zvideo/1528754585883242498
扫一扫
1171
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
