CLEAR: Contrastive Learning for Sentence Representation

最新推荐文章于 2025-02-27 12:28:39 发布
最新推荐文章于 2025-02-27 12:28:39 发布
阅读量770 收藏
点赞数 1
分类专栏： NLP Papers NLP AI 文章标签： 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chansonzhang/article/details/125347846
版权
本文提出了CLEAR，一种结合词级MLM和句子级对比学习框架的预训练模型，通过句子增强策略（删除、替换、重排序）改进句子表示。在GLUE和SentEval基准上，CLEAR优于RoBERTa和BERT等基线。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract

  • 大多数已有的预训练语言模型集中于 word-level 的训练目标，而 sentence-level 的目标则很少被研究。
  • 我们提出 Contrastive LEArning for sentence Representation (CLEAR)，使用了多种句子级别的增强策略, 包括对 word 和 span 的：
    • deletion
    • reordering
    • substitution
  • 在 SentEval 和 GLUE benchmark 上超过多个已有方法

1 Introduction

对比学习中的一个关键方法是在训练时对正样本进行增强。而对文本增强的方式不像对图像增强那么硕果累累，对图像可以可以容易地通过几种方式进行增强 (Chen et al., 2020)：

  • rotating
  • cropping
  • resizing
  • cutouting
了解本专栏 订阅专栏 解锁全文 超级会员免费看
NLP论文共读计划
Young, Simple, Naive
07-15 811
NLP 之路
基于短语的句子学习模型Sentence Representation Learning withGenerative Objective rather than Contrastive Object
qq_56061892的博客
11-01 458
基于重要短语处理分析句子，提升性能效果 在语义检索以及重排序等下游领域效果显著
sentenceRepresentation
03-06
最好在Markdown阅读器中查看此文件（例如 ） 安装 该分配是在python 3.6和tensorflow 2.0中实现的。 请按照以下步骤设置您的环境： 使用Python 3.6创建Conda环境 conda create -n nlp-hw2 python=3.6 激活Conda环境。 您将需要在要使用此代码的每个终端中激活Conda环境。 conda activate nlp-hw2 安装要求： pip install -r requirements.txt 下载手套wordvectors： ./download_glove.sh 注意：我们将使用此环境检查您的代码，因此请不要在默认或任何其他python环境中使用。 我们在代码中使用了类型注释，以帮助您了解方法签名。 虽然我们不要求您键入注释python代码，但是了解类型可能有助于了解预期的内容。 您可以了解有关类型注
Self-Guided Contrastive Learning for BERT Sentence Representations
ch的专栏
09-30 1143
文章链接:《Self-Guided Contrastive Learning for BERT Sentence Representations》 文章的背景: 尽管bert及后续很多优化的变体，但是对用于句子相似度计算的句子如何最优的表征, 这块的结论并不是很清晰。比如之前常用的方法是直接取bert的倒数第一层 或者 倒数第二层的[cls]向量作为句子表征。然而我们实际中拿这个[cls]向量直接计算句子相似度的时候就会发现, 本该距离远的sentence 的 cls 向量表征也可能很近,这个现象在题.
论文略读：CLEAR: Contrastive Learning for Sentence Representation
最新发布
qq_40206371的博客
02-27 225
2020 arxiv。
ACL 2021｜美团提出基于对比学习的文本表示模型，效果提升8%
美团技术团队
06-03 1974
总第455篇2021年 第025篇尽管基于BERT的模型在NLP诸多下游任务中取得了成功，直接从BERT导出的句向量表示往往被约束在一个很小的区域内，表现出很高的相似度，因而难以直接用于文...
04-Sentence Representation
zzk0126的博客
09-06 203
句子是自然语言中的一个重要的语言单位。句子表示一直是自然语言处理的核心任务，因为在相关领域的许多重要应用在于理解句子，如摘要、机器翻译、情感分析和对话系统。句子表示的目的是将语义信息编码为实值表示向量，并将其用于进一步的句子分类或匹配任务。随着互联网上大规模的文本数据和深度神经网络的最新进展，研究人员倾向于使用神经网络（如卷积神经网络和递归神经网络）来学习低维句子表示，并在相关任务上取得很大的进展。在本章中，我们首先介绍了句子的单热表示和n-gram句子表示（即概率语言模型）。
对比学习的应用（SimCSE，CLEAR，DeCLUTR，DiffCSE）
nakaizura
05-03 2444
前已经有博文整理过了对比学习的概念，比较重要且流行的文章，和一些已经有的应用，主要是在image或者video上的应用： Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam） 对比学习的应用（CLCaption，C-SWM，CMC，SGL） 对比学习的应用（LCGNN，VideoMoCo，GraphCL，XMC-GAN） 本篇博文尝试整理几篇代表性的对比学习在句子表征上的文章们。 SimCSE: Simple Contrastive Learning
将SimCLR应用于NLP预训练模型，提升句子语义表征效果
Paper weekly
01-22 1653
©PaperWeekly 原创 ·作者｜张琨学校｜中国科学技术大学博士生研究方向｜自然语言处理论文标题：CLEAR: Contrastive Learning for Sentence...
什么是contrastive learning？
热门推荐
paper_reader的博客
05-10 1万+
阅读更多，欢迎关注公众号：论文收割机（paper_reader） 因为排版问题，很多图片和公式无法直接显示，欢迎关注我们的公众号点击目录来阅读原文。 引言 对比学习最近特别火，为了弄懂这个方向以及需要解决的问题，所以本文将各个领域内比较重要的一些工作拿出来介绍讨论一下。对比学习（Contrastive learning）的主要是与自学习（self-supervised learning）结合起来，从而挖掘数据集本身的一些特性，来帮助模型进行无标签的学习。 计算机视觉 Si...
探索无标签数据中的句表征：SentenceRepresentation深度解析与应用
gitblog_00095的博客
06-22 397
探索无标签数据中的句表征：SentenceRepresentation深度解析与应用 去发现同类优质开源项目:https://gitcode.com/ 在自然语言处理的浩瀚星空中，有一个名为SentenceRepresentation的开源项目正等待着我们去探索。本项目灵感源自Felix Hill, KyungHyun Cho与Anna Korhonen于2016年发表的论文《从未标记数据学习句子...
《Same Representation,Different Attentions:Shareable Sentence Representation》阅读笔记
新月
12-26 625
之后会不定期分享论文笔记。 摘要 不同的任务句子表示不同，而且句子表示受限于不多的训练数据。论文提出一个橘子表示的模型可以用于多种任务。所有任务分享相同的句子表示，每个任务可以从共享的句子表示中利用attention机制抽取任务特定的信息。每个任务注意力机制的问题向量可以是静态的参数也可以是动态的。论文在16个不同的文本分类任务中做实验，并取得了很好的效果。 背景 词向量在多个任务中已经有...
推荐系统中不得不学的对比学习（Contrastive Learning）方法
09-27 5523
点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。今天我们来聊一聊推荐系统中不得不学的Contrastive Learning方法，近年来Contrastive Learning在CV和NLP领域的应用越来越广泛，在推荐系统中当然也不例外。我想大家将对比学习与推荐系统结合主要有以下四个原因：一、是因为数据的稀疏性。众所周知，在推荐系统中有点击的数据是非常少的，可能系统推荐了十篇文章，用户只点击了一篇文章，因此我们可以通过自监督学习对点击数
文本对比学习综述
qq_36618444的博客
06-22 3552
NLP中的一些对比学习工作
Knowledge Graph Contrastive Learning for Recommendation（论文笔记）
qq_39329902的博客
06-06 1723
Knowledge Graph Contrastive Learning for Recommendation
NLP深入学习——文本表示与相似度计算（text representation and Similarity calculation）
weixin_42894555的博客
06-18 1552
文章目录返回主目录文本表示（text representation）：文本表示方法（text representation method）单词表示（word representation）:One-hot representation句子表示（sentence representation）:① Boolean-based representation② Count-based representation③ Tf-idf representation文本相似度（text similarity）① 欧氏距.
Self-Guided Contrastive Learning for BERT Sentence Representations翻译
nopSled
04-12 498
摘要
论文精读系列-2022.03.11
qq_37069937的博客
07-24 362
句子表征学习见闻
PICO: CONTRASTIVE LABEL DISAMBIGUATION FOR PARTIAL LABEL LEARNING
07-27
这是一个IT类问题。这是一种用于部分标签学习的对比标签消歧的方法。具体来说，PICO方法用于处理部分标签数据集中存在的模糊性和不确定性问题。它通过使用对比学习的思想，利用已知的标签信息来解决部分标签的歧义性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值