SimCSE论文阅读

原创 已于 2024-02-05 19:56:37 修改 · 1.6k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #深度学习 #人工智能 #embedding

于 2023-12-04 09:47:46 首次发布
文章探讨了正负样本在无监督和有监督学习中的构建原则，特别是InfoNCELoss的作用以及如何处理不同类型的负样本，如in-batchsampledsoftmaxloss的效率提升。同时提到了SimCSE的局限性及改进方案，以及PromptBERT如何利用prompt减少偏差。文章还涉及了负样本采样策略的多样性和挑战。
  • 正负样本对构建原理正样本pair：one sentence two different embeddings as “positive pairs”. (通过dropout 作为噪声)
  • 负样本pair：Then we take other sentences in the same mini-batch as “negatives”
  • 任务： the model predicts the positive one among the negatives

在这里插入图片描述

无监督pair构造：

  • 只有自己和自己的随机dropout后的是正样本pair
  • 自己和其他的样本都是负样本

其实一个batch，比如有N个句子对，那么就有2N个句子，其中正例是1个，负样本应该是总样本数目2N减去样本本身，也就是2N-1；

在这里插入图片描述

有监督的pair构造：

按照上图理解，一个句子，有两个已经打好不同的标签的句子，进行配对。pair远离一样。

构造难度增加(一般采用这种策略)：二元组变三元组

在这里插入图片描述

i

最低0.47元/天 解锁文章
银晗
关注
[论文笔记]SimCSE
日积月累，天道酬勤
10-14 1211
⭐ SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。对于无监督方式，仅利用Dropout的随机性，对同一个句子输入两次得到的不同嵌入做为对比学习的正样本对。对于有监督方式，采用NLI中的前提和蕴含做为正样本对，前提和矛盾作为困难负样本对。该方法可以解决BERT/RoBERTa模型句嵌入各向异性问题，推进了SOTA的结果。
SimCSE: Simple Contrastive Learning of Sentence Emb
强化学习曾小健
05-30 562
SimCSE主要解决的是Sentence Embedding的问题，也就是句向量。传统方式中，大部分句向量是通过词向量求和而成（词向量通常是由word2vec等方法训练而成）。显然这样的方法比较简单粗暴，而且直接加和的方式并没有利用到词与词之间的交互信息。取而代之的则是以Bert为基础的各类模型。在Bert中，通过堆叠Transformer encoder，能够捕捉到一个句子中深度双向的词与词之间的信息，并以输出层中的[CLS] token的向量来表示整个句子的向量。（关于Bert的细节问题请移步相关文章）
论文解读SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_41932160的博客
03-13 1031
简介 这是一篇方法很简单效果却十分好的论文，直接将语义相似度sota提升了好几个百分点。 背景对比学习 Contrastive learning aims to learn effective representation by pulling semantically close neighbors together and pushing apart non-neighbors (Hadsell et al., 2006) 对比学习可以拉开不相似的item的距离，缩小相似的item的距离。 损失如上所
文本匹配之SimCSE学习（pytorch）
weixin_48799576的博客
06-17 1724
simcse模型一共包含两种训练方式，包括无监督部分和有监督部分。论文中模型的整体结构如下：论文首先使用了一种无监督的方法，仅仅使用dropout来对数据进行数据增广，即 将同一句子输入预训练的编码器两次，通过dropout可以得到两个不同的编码向量，这两条编码向量即作为“正对”。接着从小批量中其他的句子都作为负样本，模型预测否定句中的正句。
SimCSE 论文笔记
shuaiZuJiaoFu的博客
01-06 409
SimCSE: Simple Contrastive Learning of Sentence Embeddings
SimCSE: Simple Contrastive Learning of Sentence Embeddings论文解读
qq_45041871的博客
12-26 1317
SimCSE Simple Contrastive Learning of Sentence Embeddings论文解读，该文章使用对比学习的方法，实现了最优的句子级嵌入，该对比学习仅仅在预训练的基础上使用标准的dropout构造正例
SimCSE论文精读
lc_love_ty的博客
06-11 2505
「句向量表征技术」一直都是NLP领域的热门话题，在BERT前时代，一般都采用word2vec训练出的word-embedding结合pooling策略进行句向量表征，或者在有训练数据情况下，采用TextCNN/BiLSTM结合Siamese network策略进行句向量表征。...
SimCSE论文及源码解读
Swift's Blog
05-02 3204
对比学习的思想是拉近同类样本的距离，增大不同类样本的距离，目标是要从样本中学习到一个好的语义表示空间。SimCSE是一种简单的无监督对比学习框架，它通过对同一句子两次Dropout得到一对正样例，将该句子与同一个batch内的其它句子作为一对负样例。模型结构如下所示： 损失函数为： ℓi=−log⁡esim⁡(hizi,hizi′)/τ∑j=1Nesim⁡(hizi,hjzj′)/τ \ell_{i}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{
SimCSE: Simple Contrastive Learning of Sentence Embeddings（个人笔记）
RSociopath的博客
07-31 490
We present SimCSE, a simple contrastive sentence embedding framework, which can produce superior sentence embeddings, from either unlabeled or labeled data” 我们提出了SimCSE，一个简单的对比句子嵌入框架，它可以从无标签或有标签的数据中产生更好的句子嵌入。
Paper Reading 《SimCSE》
SUFEHeisenberg的博客
04-27 838
Paper Reading: SimCSE SimCSE: Simple Contrastive Learning of Sentence Embeddings 尚未发表。Github. Paper. 1. 什么是对比学习及度量标准 1.1 概念 无监督学习两种思路：1. 生成式学习。i.e. GAN, VAE 2. 对比式学习 核心是构建正负样本集合，学习同正样本之间的共同特征（拉进二者距离），区分负样本（拉远距离）。 举个栗子： Loss的负对数和里面是正样本对的softmax值，min Loss
[论文阅读]SimCSE: Simple Contrastive Learning of Sentence Embeddings
m0_52911108的博客
10-29 924
图像上的对比学习方案：对同一个图像进行两次随机转换（例如裁剪、翻转、扭曲和旋转等）。文本上采用类似的方案：单词删除、重排序和替换等增强技术，但是由于文本的离散型，文本数据增强本质上是很困难的，简单地在中间表示上使用标准dropout优于这些离散运算符。文章介绍了SimCSE，这是一种简单的对比学习框架，采用了自监督来提升模型的句子表示能力。对于有监督则采用了SNLI数据集天然的结构，对立类别的是负例，另外两个类别的就是正例。这一部分的句子对直接采用了NLI数据集的数据，因为其中有天然的正负例句子对。
SimCSE学习
hxshine的博客
06-21 5589
0. 参考 中文任务还是SOTA吗？我们给SimCSE补充了一些实验：https://kexue.fm/archives/8348 simcse在英文数据上显著超过了bert-flow和bert-whitening SimCSE—简单有效的对比学习：https://zhuanlan.zhihu.com/p/375659368 1. 概述 2. 什么是SimCse 2.1 无监督的训练方法 一个句子，encoder得到embedding，通过dropout得到的embedding作为正例，其他的句子得到
再看SimCSE
hxshine的博客
01-10 874
一、概述 二、要点分析原始ppt解读 2.1 作用：语义表达作用检索+聚类 2.2 简述：简单的对比学习来做语义表征 预训练+对比学习：最佳的语义表征方法 无监督：dropout 有监督：NLI 蕴含+矛盾数据 原理： 利用对比学习目标，将预训练的embedding进行uniform化 利用监督数据，aligns对齐相同语句的embedding表达 2.3 原理：对比学习原理 拉近邻居，push非邻居 2.4 目标函数：无监督学习目标函数 正样本：相同句子，独立的dropout
深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
丨汀、的博客
06-12 1820
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。
【对比学习论文】SimCSE：句子嵌入的简单对比学习
qq_43058281的博客
02-26 832
SIMCSE
【模型复现】无监督文本匹配模型——SimCSE快速复现
m0_60673947的博客
05-17 1945
SimCSE 模型 快速复现教程 01 模型详情 模型简介： SIMCSE是一种用于生成句子嵌入的对比学习框架。它利用了无监督的方法，该方法采用输入句，并以对比目标预测本身，只有标准dropout用作噪声。作者发现dropout行为是隐藏表示的最小“数据增强”，同时删除它导致表示崩溃。之后使用了监督方法将注释对从自然语言推理数据集中包含到对比框架中。 关键词：无监督 应用场景：文本匹配 结构： 论文地址： https://arxiv.org/abs/2104.0882..
simcse实践使用
programerchen的专栏
01-24 1700
实践目标： 跑通simcse，看看和传统bert比，是否表征能力更强，是否相似句的相似度更高，非相似句的相似度更低。 github地址： https://github.com/princeton-nlp/SimCSE 跑代码踩坑记录： 1. couldn‘t reach http://raw.githubusercontent.com/huggingface/... 原因，因为这个huggingface的代码，跑的过程中需要在线download一些数据和代码，而这些代码是需要vpn的，所以必
Embedding模型提升效果的方法之二：对比学习（SimCSE最先用在文本表征上）
comli_cn的博客
09-06 592
SimCSE（simple contrastive sentence embedding framework），意为简单的对比句向量表征框架。SimCSE的核心就是使用了对比学习的方法，从而提升对句子的表征能力。如今的预训练语言模型都会存在各向异性的问题，所以需要通过对比学习来加以缓解。下文主要介绍对比学习SimCSE如何使用对比学习，以及为什么对比学习可以缓解各向异性的问题。对比学习就是以拉近相似数据，推开不相似数据为目标，有效地学习数据表征。给定一个pair对样本集合Dxixii1mD。
文本匹配之SimCSE模型
热门推荐
dzysunshine的博客
04-29 1万+
目录 前言 模型结构 模型原理 模型训练 特别说明 模型效果 参考 前言 论文全名：SimCSE: Simple Contrastive Learning of Sentence Embeddings 论文地址：https://aclanthology.org/2021.emnlp-main.552.pdf 论文收录于EMNLP2021。 论文提供的代码（pytorch）：GitHub - princeton-nlp/SimCSE: EMNLP'2021: SimCSE: Sim..
SimCSE代码分析
最新发布
10-23
SimCSE是利用对比学习方法改进预训练语言模型的方法，以下从不同方面对SimCSE代码进行详细分析： ### 项目整体功能与接口 ...SimCSE论文中提到了两种对比学习方法：无监督的对比学习和有监督的对比学习[^4]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值