SimCSE: Simple Contrastive Learning of Sentence Embeddings

最新推荐文章于 2025-02-27 12:03:21 发布
最新推荐文章于 2025-02-27 12:03:21 发布
阅读量465 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： NLP Papers NLP AI 文章标签： 自然语言处理 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chansonzhang/article/details/125572059
SimCSE 是一个无监督和有监督的对比学习框架，用于生成高质量的句子嵌入。通过使用 dropout 作为无监督方法中的噪声源，以及在有监督方法中利用 NLI 数据集的 entailment 和 contradiction 对，SimCSE 在 STS 任务上取得了优于其他方法的性能。对比学习目标改善了预训练嵌入的各向异性空间，增强了句子表示的 uniformity 和 alignment。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract

  • SimCSE, a Simple Contrastive Sentence Embedding framework
  • 一种无监督方法：输入一个句子，并在一个对比学习目标下预测它自身，仅使用标准的 dropout 作为噪声
  • 一种有监督方法：使用 NLI 数据集中的标注句子对
    • 正样本： “entailment” pairs
    • 负样本：“contradiction” pairs
  • 实验结果
    • 测试数据集：STS
    • 指标：Spearman’s correlation
    • 基于 BERTbase 的无监督和有监督方法得分分别为 76.3% 和 81.6%
  • 对比学习目标使得预训练 embedding 的各向异性空间（anisotropic space）变得更加均匀，当有监督信号时，能够更好地对齐正样本对
  • 代码：https://github.com/princeton-nlp/SimCSE

了解本专栏 订阅专栏 解锁全文 超级会员免费看
SimCSE: Simple Contrastive Learning of Sentence Emb
强化学习曾小健
05-30 444
SimCSE主要解决的是Sentence Embedding的问题，也就是句向量。传统方式中，大部分句向量是通过词向量求和而成（词向量通常是由word2vec等方法训练而成）。显然这样的方法比较简单粗暴，而且直接加和的方式并没有利用到词与词之间的交互信息。取而代之的则是以Bert为基础的各类模型。在Bert中，通过堆叠Transformer encoder，能够捕捉到一个句子中深度双向的词与词之间的信息，并以输出层中的[CLS] token的向量来表示整个句子的向量。（关于Bert的细节问题请移步相关文章）
论文解读SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_41932160的博客
03-13 999
简介 这是一篇方法很简单效果却十分好的论文，直接将语义相似度sota提升了好几个百分点。 背景对比学习 Contrastive learning aims to learn effective representation by pulling semantically close neighbors together and pushing apart non-neighbors (Hadsell et al., 2006) 对比学习可以拉开不相似的item的距离，缩小相似的item的距离。 损失如上所
SimCSE详解，Simple Contrastive Learning of Sentence Embeddings
ws_nlp_的博客
06-07 1765
简介 contrastive(对比)学校框架，提升句子embedding效果 无监督，句子本身和句子自己带有dropout 使用NLI数据集，entailment（蕴含）对作为正例，contradiction（矛盾）对作为负例 在STS任务上，效果好 介绍 无监督simcse预测句子本身，仅使用dropout作为噪声 换句话说，我们把相同的输入句子放到预训练encoder两次，包括两个embedding作为正例对，这两个encoder单独dropout（互不影响，不同的dropout形成不同的embeddi
文献阅读笔记 # SimCSE: Simple Contrastive Learning of Sentence Embeddings
skysys的研究小屋
07-09 862
SimCSE：Sentence Embedding + 对比学习
论文笔记--SimCSE: Simple Contrastive Learning of Sentence Embeddings
weixin_38124427的博客
06-10 1065
通过dropout进行对比学习：SimCSE最全公式推导
Raki的读paper小记：SimCSE: Simple Contrastive Learning of Sentence Embeddings
Raki_J的博客
03-01 804
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 面临挑战 创新思路 用一种非常简单的无监督对比学习方法，来预测自己，仅仅使用标准的dropout作为噪声 与以前的工作不同的是，之前的工作将其作为一个三分类任务（蕴含、中性和矛盾），我们利用蕴含对可以自然地作为正向实例的事实 实验结论 sota 我们发现，dropout作为最小的数据增广，去除它就会导致表示坍缩 增加相应的矛盾对作为ha
【EMNLP 2021】SimCSE：句子嵌入的简单对比学习 && 【CVPR 2021】理解对比学习损失函数及温度系数
09-16 1984
SimCSE（Simple Contrastive Learning of Sentence Embeddings）是一种简单在没有监督训练数据的情况下训练句子向量的对比学习方法。这个方法是对同一个句子进行两次编码。由于在 Transformer 模型中使用了 dropout，两个句子表征的位置将略有不同。目标函数 Multiple Negatives Ranking Loss：其中，z和z’ 是两个不同的dropout随机掩码。
[EMNLP 2021] SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_42170839的博客
01-24 1501
无监督的SimCSE将句子过两次预训练模型得到两个不同的embedding作为正例对，将同一batch中的其他句子作为负例，模型在所有负例中预测出唯一的正例。有监督的SimCSE使用NLI数据，将蕴含关系对作为正例，矛盾关系及batch内其他的句子作为负例。
SimCSE: Simple Contrastive Learning of Sentence Embeddings（个人笔记）
RSociopath的博客
07-31 408
We present SimCSE, a simple contrastive sentence embedding framework, which can produce superior sentence embeddings, from either unlabeled or labeled data” 我们提出了SimCSE，一个简单的对比句子嵌入框架，它可以从无标签或有标签的数据中产生更好的句子嵌入。
[论文阅读]SimCSE: Simple Contrastive Learning of Sentence Embeddings
m0_52911108的博客
10-29 796
图像上的对比学习方案：对同一个图像进行两次随机转换（例如裁剪、翻转、扭曲和旋转等）。文本上采用类似的方案：单词删除、重排序和替换等增强技术，但是由于文本的离散型，文本数据增强本质上是很困难的，简单地在中间表示上使用标准dropout优于这些离散运算符。文章介绍了SimCSE，这是一种简单的对比学习框架，采用了自监督来提升模型的句子表示能力。对于有监督则采用了SNLI数据集天然的结构，对立类别的是负例，另外两个类别的就是正例。这一部分的句子对直接采用了NLI数据集的数据，因为其中有天然的正负例句子对。
论文略读：SimCSE: Simple Contrastive Learning of Sentence Embeddings
最新发布
qq_40206371的博客
02-27 292
EMNLP 2021。
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings
codename_cys的博客
03-06 1681
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings 1. 文献内容简介 2. 主要方法介绍 3. 主要实验介绍 1. STS Experiment 2. Downsteam Experiment 4. 讨论 1. loss function考察 2. 其他正例构造方式考察 3. 消解实验 5. 结论 & 思考 文献链接：https://arxiv.org/abs/2104.08821v2 1. 文献内..
【论文阅读-对比学习】SimCSE Simple Contrastive Learning of Sentence Embeddings
春天
03-10 1514
今天分享下Danqi大佬的SimCSE。文章首发于https://zhuanlan.zhihu.com/p/477334784 Title: SimCSE: Simple Contrastive Learning of Sentence Embeddings From: EMNLP 2021 Link: https://arxiv.org/abs/2104.08821 论文提出了基于对比学习框架的SimCSE，来是提升句向量的嵌入表示。在有监督和无监督的语义相似度任务上取得了SOTA效果。 背景知识 先介
【对比学习论文】SimCSE：句子嵌入的简单对比学习
qq_43058281的博客
02-26 666
SIMCSE
SimCSE: Simple Contrastive Learning of Sentence Embeddings翻译
nopSled
05-21 1063
摘要
SimCSE: Simple Contrastive Learning of Sentence Embeddings论文解读
qq_45041871的博客
12-26 1201
SimCSE Simple Contrastive Learning of Sentence Embeddings论文解读，该文章使用对比学习的方法，实现了最优的句子级嵌入，该对比学习仅仅在预训练的基础上使用标准的dropout构造正例
Embedding模型提升效果的方法之二：对比学习（SimCSE最先用在文本表征上）
comli_cn的博客
09-06 469
SimCSE（simple contrastive sentence embedding framework），意为简单的对比句向量表征框架。SimCSE的核心就是使用了对比学习的方法，从而提升对句子的表征能力。如今的预训练语言模型都会存在各向异性的问题，所以需要通过对比学习来加以缓解。下文主要介绍对比学习SimCSE如何使用对比学习，以及为什么对比学习可以缓解各向异性的问题。对比学习就是以拉近相似数据，推开不相似数据为目标，有效地学习数据表征。给定一个pair对样本集合Dxixii1mD。
SimCSE：仅用Dropout实现的简单对比学习
然而，这篇文章《SimCSE: Simple Contrastive Learning of Sentence Embeddings》提出了一个新颖且简单的方法，即仅使用dropout这一常见的正则化技术来实现数据增强。 首先，SimCSE的创新之处在于它摒弃了传统复杂...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值