计算句子向量相似度：SentenceBert和SimCSE

Sentence-BERT：利用对比学习优化句子表示
原创 已于 2023-02-24 17:31:17 修改 · 1.5k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #自然语言处理

于 2023-02-23 17:47:00 首次发布

SentenceBert

Sentence-BERT: 如何通过对比学习得到更好的句子向量表示 - 哔哩哔哩 (bilibili.com)

(229条消息) Sentence-BERT详解_数学家是我理想的博客-优快云博客_sentence-bert

动机：

直接把2个句子串联起来输入Bert做分类（即Cross-Encoder方式），当需要找N个句子里相似度最大的2个句子时，要经过Bert的次数是N*(N-1)/2次；计算量太大了；

把每个句子单独经过Bert，得到各自的句子向量后，再计算相似度，即Bi-Encoder方式，节省计算量；

孪生网络：

将句子对输入到参数共享的两个Bert模型中，然后Bert输出句子的所有字向量传入pooling层进行平均池化（在句子长度这个维度上对所有字向量求均值）(经实验，Mean Pooling比Max Pooling和[CLS]效果都好些)获取到每个句子的句向量表示。

文中损失函数用的均方误差MSE(Mean-Square Error)：

最低0.47元/天 解锁文章
用Bert获取句子向量，并计算句子相似度
肥仔的博客
06-14 3892
我用的是sentence-bert，它封装在sentence-transformer中： 二、相似度 向量相似度有两个度量标准：余弦相似度、余弦距离，其中余弦相似度就是cos，两个向量越像，余弦相似度越大；余弦距离=1-余弦相似度，两个向量越像，余弦距离越小。下面这段代码就是计算余弦距离的 结果： 参考文章： 1.https://blog.youkuaiyun.com/u011412768/article/details/86714540...
Sentence-BERT: 一种能快速计算句子相似度的孪生网络
zenRRan的博客
05-12 3830
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要9分钟跟随小博主，每天进步一丢丢作者：光彩照人学校：北京邮电大学原文地址：https://www.cnblogs.com/gczr/...
深度学习文本相似度分析：BERT、SentenceBERT、SimCSE算法实现与应用研究
weixin_31938351的博客
11-04 7026
本文还有配套的精品资源，点击获取 简介：本人工智能大作业将探讨深度神经网络模型在文本相似度计算中的应用，重点分析BERT、SentenceBERT和SimCSE三种方法。BERT利用Transformer架构实现双向上下文理解，SentenceBERT针对句子级别优化学习，而SimCSE通过对比学习框架提升无监督环境下的相似度计算性能。这些模型在信息检索、问答系统、情感分析...
LASER得到句子向量，计算句子相似度
xueyuyuewu的博客
07-28 509
** 1 LASER 给指定文件计算句子向量 ** ./embed.sh raw.txt zh zh_embeddings.raw raw.txt：未经处理的文件 zh_embeddings.raw：句子向量 假设raw.txt是中文。raw.txt是未分词的数据，未经tokenizer.perl处理的数据，处理过程中用jieba进行分词，并进行bpe切分，之后再计算得到zh_embeddings.raw ** 2.用得到的句子向量计算句子相似度 ** zh_embeddings.raw和en_embedd
【论文阅读】句向量总结、文本相似度计算
li_jiaoyang的博客
04-28 2939
句向量 不定长的句子用定长的向量表示，为NLP下游任务提供服务。 对于word embedding，训练完以后每个词对应一个向量，可以直观地判断embedding的好坏。 但是，对于sentence embedding，它的评测是没有ground truth的。只能将sentence embedding送入下游任务，根据在下游任务的表现来评测其质量。 换句话说，其实不存在单独的sentence embedding算法，只有嵌入在NLP系统中的sentence embedding模块。 应用 语义搜索：通过
文本语义表征(Sentence-Bert、Simcse)的应用和实践
qq_40176087的博客
06-26 6448
文本语义表征(Sentence-Bert、Simcse)的应用和实践
深度学习文本相似度分析：SentenceBERT与SimCSE模型研究
资源摘要信息: 本资源旨在介绍并分析如何使用深度神经网络模型和算法来计算文本相似度，并提供了一个研究分析SentenceBERT和SimCSE模型的Python程序源代码和相关数据集。资源内容涵盖了深度学习模型的评测、预训练...
精选资源
人工智能大作业：关于计算文本相似度的深度神经网络模型与算法研究分析(BERT、SentenceBERT、SimCSE).zip
10-26
本项目聚焦于深度神经网络模型和算法在计算文本相似度上的应用，特别是BERT、SentenceBERT以及SimCSE这三种方法的分析。 BERT（Bidirectional Encoder Representations from Transformers）是由Google提出的预训练...
深入研究计算文本相似度的深度学习模型与算法（BERT、SentenceBERT、SimCSE）
最新发布
weixin_36304957的博客
05-26 1047
BERT（Bidirectional Encoder Representations from Transformers）模型由Google于2018年提出，是一种基于Transformer的预训练语言表示模型。它通过双向的Transformer结构获取文本的深层语义信息，从而克服了传统单向模型信息捕获的局限。BERT模型的输入是文本序列，输出则包含了每个token的隐藏层表示，这些表示可以直接用于下游的NLP任务。
【亲测免费】 SimCSE: 简单而强大的预训练文本相似度模型
gitblog_00053的博客
04-03 2448
SimCSE: 简单而强大的预训练文本相似度模型 项目简介 在自然语言处理领域，SimCSE（Similarity Contrastive Estimation）是一个由。SimCSE基于现有的预训练语言模型，如BERT、RoBERTa等，通过无监督的方式来增强模型捕捉语义相似性的能力。 技术分析 SimCSE的核心是对比学习的思想，具体实现步骤如下： 数据处理：对输入的句子进行随机扰动（例如，...
预训练模型语义相似性计算(四)--SimCSE
choose_c的博客
06-15 2915
接着之前的句向量表示模型进行相似句计算的方法，这篇接着介绍一种新的方法-SimCSE。文章来自普林斯顿陈丹琦，引入了对比学习的
NLP句子相似性方法总结及实现
分享实践与思考
07-31 1万+
目录 1、基于Word2Vec的余弦相似度 2、TextRank算法中的句子相似性 3、莱文斯坦距离（编辑距离） 4、莱文斯坦比 5、汉明距离 6、Jaro距离（Jaro Distance） 7、Jaro-Winkler距离（Jaro-WinklerDistance） 8、基于Doc2Vec的句子相似度计算 1、基于Word2Vec的余弦相似度 首先对句子分词，使用Gensi...
相似句子计算工业级方法：对比学习SimCSE原理透析
sslfk的博客
03-02 613
最近看了一篇最新的Sentence Embedding论文，今年4月份的，丹琦大神发表的《Simple Contrastive Learning of Sentence Embeddings》， 简称就是SimCSE，直译过来就是 基于简单对比学习句子嵌入。和没有对比学习的Bert相比，个人认为最大的区别就是： 考虑到了拉大当前样本和不相关样本的距离，uniformity。 而原始的Bert仅仅考虑了相似样本越相似越好，也就是Alignment。 整篇文章的关键词有两个，simple 和 Contrast
SimCSE初步使用且和Bert的简单对比
Fitz的博客
03-24 6273
SimCSE初步使用且和Bert的简单对比 在很多 NLP 任务中都会用到句子向量，例如文本检索、文本粗排、语义匹配等任务。现在有不少基于 Bert 的方式获取句子向量，例如 Bert-flow 和 Bert-whitening 等，这些方法会对预训练 Bert 的输出进行变换从而得到更好的句子向量。本文介绍 SimCSE，SimCSE 通过对比学习的方法训练模型，取得 SOTA 的效果。 模型下载 huggingface这个网站真的是太棒了。提供了封装好后的SimCSE。其实SimCSE也是在Bert
NLP:BERT的介绍并使用该模型计算文本相似度
读万卷书 行万里路
09-28 1430
Transformer中的位置编码用于为输入序列中的每个词提供位置信息，以弥补模型中缺少顺序感的缺陷，使模型能够捕捉词汇的相对顺序和位置信息。Transformer中的编码器的作用是提取原句中的特征值。一个编码器的输出作为下一个编码器的输入。
短文本相似度(关键词、词向量、句向量、编辑距离、余弦相似度、jaccard、matchzoo、bert)
大漠帝国的博客
09-05 8890
首先当然是高大上的BERT啦，github项目地址在: https://github.com/yongzhuo/nlp_xiaojiang/tree/master/FeatureProject/bert 主要还是各种距离等，github项目地址: https://github.com/yongzhuo/nlp_xiaojiang/blob/master/Fea...
基于Doc2vec的段落向量训练及文本相似度计算
weixin_40547993的博客
04-20 6521
Doc2vec段落向量的训练方法，与训练词向量类似，段落向量的训练分为训练数据预处理和段落向量训练两个步骤。这里采用的是网上爬取的问答对中的query作为训练集，在段落向量训练之前必须进行训练数据预处理：中文分词，这里采用的是jieba分词。此外doc2vec在训练的时候能够采用tag信息来更好的辅助训练（表明是同一类doc），因此相对于word2vec模型，输入文档多了一个tag属性。 具体代...
NLP实践——基于SBERT的语义搜索，语义相似度计算，SimCSE、GenQ等无监督训练
热门推荐
weixin_44826203的博客
08-23 1万+
基于SBERT的语义搜索，语义相似度计算，SimCSE、GenQ等无监督训练0. 由SBERT引发的一些思考1. SBERT介绍2. 基本应用2.1 语义相似度计算2.2 语义搜索2.3 召回重排2.4 聚类和主题模型2.5 图片检索3. 无监督方法的训练3.1 SimCSE3.2 TSDAE3.3 GenQ3.4 CT 0. 由SBERT引发的一些思考 今年年初对比学习在深度学习领域广受关注，尤其是SimCSE等方法，在无监督和小样本的场景下取得了很大的成功。无论是Sentence Bert还是SimCS
使用PaddleNLP打造精准文献检索系统，看万方系统升级放大招！
PaddlePaddle
09-13 585
又是一年开学季，看着大批莘莘学子步入高校，同时又有大批学生即将面临毕业，这一年要饱受论文的洗礼。在学术论文领域，几乎每一位大学生都避不开论文检索、查重环节。想写出一篇高质量论文，前期大量的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值