R-Drop和SimCSE解读

已于 2023-09-17 22:38:24 修改
阅读量257 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 深度学习 人工智能 机器学习
于 2023-09-17 16:32:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/taoqick/article/details/132946042
R-Drop通过在每次前向传播时引入Dropout的双重概率分布，结合KL散度优化参数，提高了模型性能。SimCSE在无监督和监督下使用BERT在STS任务上表现出色，分别提升了4.2%和2.2%的Spearmans相关系数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

R-Drop: Regularized Dropout for Neural Networks

在这里插入图片描述
R-Drop的基本思想是：同一个step里面，对于同一个样本，前向传播两次，由于Dropout的存在，会得到两个不同但差异很小的概率分布，通过在原来的交叉熵损失中加入这两个分布的KL散度损失，来共同进行反向传播，参数更新

R-Drop刚好是把sub model和完整model之间加了一个bound，如下图：
在这里插入图片描述
在下游任务上可以普遍地涨点

SimCSE

在这里插入图片描述
We evaluate SimCSE on standard semantic textual similarity (STS) tasks, and our unsupervised and supervised models using BERTbase achieve an average of 76.3% and 81.6% Spearman’s correlation respectively, a 4.2% and 2.2% improvement compared to the previous best results.

部分参考：

  1. https://zhuanlan.zhihu.com/p/409523468
  2. https://www.zhihu.com/zvideo/1528754585883242498
taoqick
关注
R-Drop 阅读笔记
Love-Coding
06-30 1057
《R-Drop: Regularized Dropout for Neural Networks》 早有这个想法，没空做实验，竟然提升很大，说明我的idea还是水呀
R-Drop 核心代码
Love-Coding
08-06 838
https://github.com/dropreg/R-Drop
NLP，对比学习SimCSE和Rdrop的区别
qq_15821487的博客
05-07 1555
参考文章1：https://blog.youkuaiyun.com/c9Yv2cf9I06K2A9E/article/details/118447050 参考文章2：https://www.modb.pro/db/379565 SimCSE，用Dropout构造正负样本，本质是数据增广，存在训练和预测不一致的问题： 对比学习的思想在于：将样本和与它语义相似的样本（正样例）和与它语义不相似的样本（负样例）进行对比，希望通过设计模型结构和对比损失，使语义相近的样本对应的表示在表示空间更接近，语义不相近的样本的距离更远，以
R-Drop: Regularized Dropout for Neural Networks 论文笔记（介绍，模型结构介绍、代码、拓展KL散度等知识）
艰难困苦，玉汝于成。
02-16 2081
R-Drop——神经网络的正则化DropOut，Dropout是一种强大且广泛应用的深度神经网络的调整训练的技术。尽管效果很好，但由于Dropout所带来的随机性导致了训练和实际之间的不一致性。在本文中，我们引入了一种简单的一致性训练策略来正则化dropout，即R-Drop，它强制dropout生成的不同子模型的输出分布彼此一致。具体来说，对于每个训练样本，R-Drop最小化dropout采样的两个子模型输出分布之间的双向kl -散度。理论分析表明，R-Drop降低了上述不一致性。
Rdrop技术(Regularized Dropout)
Jiana_Feng的博客
03-21 6618
目录Rdrop理论几个常见的应用具体操作方法个人思考 Rdrop理论 每个数据样本重复经过带有Dropout的同一个模型，再使用KL散度约束两次的输出，使得尽可能一致，而由于 Dropout的随机性，可以近似把输入X走过两次的路径网络当作两个略有不同的模型，如下图所示: 【补充知识点一】-- 损失函数 一部分的损失函数是常规的交叉熵 训练数据为 (xi,yi)({x_i,y_i})(xi​,yi​) ,模型为 Pθ(y∣x)P_{\theta}(y|x)Pθ​(y∣x), 每个样本的交叉熵都是 Li=−l
R-Drop——更强大的dropout
Dominic的博客
09-01 1785
让正则化更加智能
又是Dropout两次！这次它做到了有监督任务的SOTA
Paper weekly
07-03 1183
©PaperWeekly 原创 ·作者|苏剑林单位|追一科技研究方向|NLP、神经网络关注 NLP 新进展的读者，想必对四月份发布的 SimCSE [1] 印象颇深，它通过简...
ChildTuning：试试把Dropout加到梯度上去？
Paper weekly
11-30 2621
©PaperWeekly 原创 ·作者 |苏剑林单位 |追一科技研究方向 |NLP、神经网络Dropout 是经典的防止过拟合的思路了，想必很多读者已经了解过它。有意思的是，最近 Dro...
对比学习 RDrop: Regularized Dropout for Neural Networks
12-16 2028
5行代码视线对比学习 RDrop: Regularized Dropout for Neural Networks
【学术访谈】微软秦涛-沈向阳—R-Drop
发现问题，并解决问题，批判性思维
07-07 1000
深度学习现在之所以非常成功，除了模型上改进之外，优化的技巧也是非常重要的。比如像Dropout在训练过程中随机扔掉一些节点或者一些模型的参数，最后会使得我们训练更加鲁棒，并且测试集上的效果会更好。因为其优异的效果，它被用到众多不同任务不同模型里，并且有很多变种提了出来。像DropConnect是扔掉边，LayerDrop扔掉Layer，还有DropPath是扔掉路径， DropBlock扔掉整个block，DropHead是扔掉head，这些工作都是对Dropout进行不同变种。...
探索R-Drop：高效的Python数据处理库
最新发布
gitblog_00077的博客
04-25 451
探索R-Drop：高效的Python数据处理库 在数据分析和机器学习领域，快速且高效的数据处理是至关重要的。今天，我们要向您推荐一个创新的Python库——R-Drop，它旨在提供一种新的方式，以优化Pandas DataFrame的操作，使您的数据处理工作更加流畅。 项目简介 R-Drop是一个轻量级的Python库，其灵感来自于R语言中的dplyr包，它为Pandas提供了类似于R语言的管道操...
R-Drop pytorch实现
lhp171302512的博客
08-24 3384
Pytorch实现了R-Drop，可以用于训练分类模型。 # -*- coding: utf-8 -*- """ Description : An implementation of R-Drop (https://arxiv.org/pdf/2106.14448.pdf). Authors : lihp CreateDate : 2021/8/24 """ from torch import nn from torch.nn import functional as F class RDro
R-Drop论文复现与理论讲解
华为云官方博客
03-07 1141
基于 Dropout 的这种特殊方式对网络带来的随机性，研究员们提出了 R-Drop 来进一步对（子模型）网络的输出预测进行了正则约束。
R-drop解读
u013250861的博客
07-29 277
一个比较直接的疑问是，如果我的模型够复杂，单靠交叉熵这一项，不能使得模型对dropout鲁邦吗？也就是说，如果只有交叉熵这一项，模型的训练效果顶多是不同的dropout下，目标类的得分都大于非目标类的得分，而不能做到不同的dropout下每个类的得分一直，所以也就没有解决训练预测不一致的问题。也就是说，如果只有交叉熵这一项，模型的训练效果顶多是不同的dropout下，目标类的得分都大于非目标类的得分，而不能做到不同的dropout下每个类的得分一直，所以也就没有解决训练预测不一致的问题。
R-Drop：更强大的Dropout正则方法
#仙女不扎马尾#的博客
04-23 2456
文章目录1 背景介绍1.1 Dropout技术1.2 Regularized Dropout (R-Drop)技术2 R-Dropout的原理介绍2.1 模型解释3 总结 写在前面：本文学习引用微软研究院AI头条、“肉丸先生呀”的博文“R-Drop——更强大的Dropout” 1 背景介绍 1.1 Dropout技术 深度神经网络（DNN）近来已经在各个领域都取得了令人瞩目的成功。在训练这些大规模的 DNN 模型时，正则化（regularization）技术，如 L2 Normalization、Batch
R-Drop论文复现
m0_63642362的博客
02-11 1540
R-Drop论文复现，论文通过实验得出一种改进的正则化方法R-dropout，简单来说，它通过使用若干次（论文中使用了两次）dropout，定义新的损失函数。
R-drop
weixin_43913077的博客
09-30 167
由于深度神经网络非常容易过拟合，因此 Dropout 方法采用了随机丢弃每层的部分神经元，以此来避免在训练过程中的过拟合问题。正是因为每次随机丢弃部分神经元，导致每次丢弃后产生的子模型都不一样，所以 Dropout 的操作一定程度上使得训练后的模型是一种多个子模型的组合约束。基于 Dropout 的这种特殊方式对网络带来的随机性，研究员们提出了 R-Drop 来进一步对（子模型）网络的输出预测进行了正则约束。 论文链接：https://arxiv.org/abs/2106.14448 GitHub 链接：
机器学习:Kullback-Leibler Divergence(KL散度)以及R-dropout函数的通俗讲解
小姑仔的博客
07-15 2622
KL散度，最早是从信息论里演化而来的，信息熵的定义如下： H=−∑i=1Np(xi)log(p(xi))H = -\sum\limits_{i=1}^{N}p(x_{i})log(p(x_{i}))H=−i=1∑N​p(xi​)log(p(xi​)) 其中p(xi)p(x_{i})p(xi​)表示事件xix_{i}xi​发生的概率，信息熵反映的就是要表示一个概率分布需要的平均信息量。 定义KL散度值 DKL(p∣∣q)=∑i=1Np(xi)(logp(xi)−logq(xi))D_{KL}(p||q) =
Pandas: Drop函数（Dataframe删除指定行列）
热门推荐
W_weiying的博客
11-29 12万+
isin函数  （请点击链接：isin函数提取和删除Dataframe指定行列） 更多原创PYTHON数据分析博文，请关注博文专栏（超链接：PYTHON数据分析）   本文介绍主要结介绍用Drop函数删除Dataframe指定行列： drop(labels=None, axis=0, index=None, columns=None,              level=None, in...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值