[论文笔记]Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

已于 2022-08-11 13:46:17 修改
阅读量900 收藏 2
点赞数 4
分类专栏： 论文翻译/笔记 文章标签： bert 自然语言处理 深度学习 SBERT
于 2021-09-23 08:00:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yjw123456/article/details/120427177
版权
Sentence-BERT(SBERT)通过Siamese和Triplet网络改进BERT，生成句向量，解决大规模语义相似度计算问题。通过在NLI和STS数据集上的训练和评估，SBERT表现出优秀的句子相似度计算能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT模型无法很好地得到句向量的问题。

核心思想

虽然BERT模型可以计算句子对之间的语义相似度，但是它需要句子对拼接在一起然后输入给BERT模型。如果需要计算10000个句子相互之间的相似度，则需要计算 10000 ⋅ ( 10000 − 1 ) / 2 = 49995000 10000 \cdot(10000-1)/2=49995000

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Raki_J的博客
03-18 903
Abstract & Introduction & Related Work 研究任务 sentence embedding 已有方法和相关工作 InferSent Universal Sentence Encoder Skip-Thought 面临挑战 BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次推理计算（约65小时）。BERT的构造使其不适合
论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
u011150266的博客
07-08 921
作者：迪 单位：燕山大学 论文地址 代码地址 论文来源：EMNLP2019 前言   虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算，计算开销过大。BERT模型在一个1W句子集合中，找出最相近的一个句子对，需要5千万次推断计算（约65小时）才能完成，所以BERT并不适合语义相似度搜索等任务。   在该论文中，作者提出了一个新的模型，Sentence-BERT（简称SBERT）。SBERT采用..
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
garbage回收中心
11-22 1538
BERT和RoBERT模型在进行语义匹配的时候，需要将每个可能的组合都输入到模型中，会带来大量的计算（因为BERT模型对于句子对的输入，使用[SEP]来标记句子间的分隔，然后作为一个句子输入模型）。比如在10000个句子中找到与每个句子最相似的句子对，需要进行5千万次运算，大约65个小时。因此，BERT就不太适合做语义相似查询和一些无监督的任务。解决聚类和语义匹配的常见方法是将每个句子map到一个向量空间，使得语义相似的句子靠得更近。
译文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Airstudy的博客
05-24 2458
摘要 BERT (Devlin et al., 2018)和RoBERTa (Liuet al., 2019)已经在句子对回归任务上取的了最新最好的效果，比如语义文本相似任务（STS）。然而，这需要将两个句子的都喂给网络，这就引起大量的计算消耗：从你1万个句子中找相思对，就需要用BERT进行5千万推力计算（耗时约65小时）。BERT的结构不合适语义相似搜索，同样也不适用于类似聚类的无监督任务。 在本论文中，我将呈现预训练BERT的改进版–Sentence-BERT (SBERT)，使用二元或者三元网络结构来
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
### Sentence-BERT: Sentence Embeddings Using Siamese BERT-Networks #### 概述 在自然语言处理（NLP）领域，预训练模型如BERT（Bidirectional Encoder Representations from Transformers）及其变种RoBERTa已...
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 762
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
论文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译笔记（句子嵌入、语义搜索）
weixin_56242678的博客
03-15 1185
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks论文翻译笔记，有关句子嵌入、语义检索等。
SiameseBERT-Notebook:使用Siamese-BERT编码的快速语义搜索
05-27
暹罗语-笔记本 使用Siamese-BERT编码的快速语义搜索 SiameseBERT-SemanticSearch.ipynb Google Colab笔记本说明了如何使用Sentence Transformer python库快速创建句子的BERT嵌入并执行快速的语义搜索。 Sentence Transformer库在和上可用。 该库实现了Nils Reimers和Iryna Gurevych编写的ACL 2019论文中的代码，该论文的标题为“-BERT ”。 引用原始ACL纸： @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils an
Siamese-based-BERT-FAQ-retrieval
03-30
基于暹罗语的BERT-FAQ检索
bert：TensorFlow代码和BERT的预训练模型
02-03
伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究，并鼓励社区寻找替代增加模型容量的创新方向。 您可以从 下载全部24个，也可以从下表单独下载： 高= 128 高= 256 高= 512 高= 768 L = 2 L = 4 L = 6 L = 8 L = 10 L = 12 请注意，此版本中包含的BERT-Base模型仅出于完整性考虑； 在与原始模型相同的条件下进行了重新训练。 这是测试集上相应的GLUE分数： 模型 得分 可乐 SST-2 MR
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks
codename_cys的博客
02-27 1107
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks 1. 文章简介 2. 主要方法介绍 3. 主要实验内容 1. Unsupervised STS 2. Supervised STS 3. Downsteam SentEval Evaluation 4. Ablation Study 4. 结论 & 思考 文献链接：https://arxiv.org/pdf/1908.10084.pdf 1. 文..
论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
rotation博客
10-21 4949
论文信息 题目 Sentence Embeddings using Siamese BERT-Networks 使用孪生BERT网络结构的句子嵌入 作者 Nils Reimers, Iryna Gurevych 论文水平 EMNLP 2019 其它 论文下载地址：https://arxiv.org/abs/1908.10084 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-tansformers文档：官方文档 sentenc-tansformers非常
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks解读
qq_33221657的博客
12-17 1099
摘要 使用bert和roberta来计算句子相似度太耗时，本文作者提出sentence-bert，使用孪生或三生网络对bert pretrain 进行修整，在sentence embeddings methods上取得sota。 介绍 1 .bert计算句子相似度 a.监督方法 做法：合理使用bert结构，将上句和下句放入bert结构中，进行finetune 。BERT uses a cross-encoder: Two sentences are passed to the transformer net
【文献翻译】Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
gengmeng_的博客
01-02 546
在本论文中，我们介绍了Sentence-BERT(SBERT)，它是使用孪生网络和三元组网络对BERT网络进行的修改，能够导出具有语义意义的句子嵌入。这使得BERT可以用于某些新任务，而这些任务迄今为止不适用于BERT。这些任务包括大规模语义相似性比较、聚类和通过语义搜索进行信息检索。BERT在各种句子分类和句子对回归任务上设置了新的最先进的性能。BERT使用交叉编码器：将两个句子传递到transformer网络并预测目标值。但是，由于可能的组合太多，此设置不适用于各种对回归任务。
文献记录 - Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_42681868的博客
09-13 613
文献地址： https://arxiv.org/pdf/1908.10084.pdf 摘要 bert 或robert已经有了句子对匹配任务的实现方法，具体的是通过将两个句子拼接在一起，中间用token“【SEP】”隔开，bert输出层中的【CLS】token可以直接表示两个句子对之间的相对信息（可以是相似度，也可以是问答，或者是否是下一句话）。 但是拼接起来的序列通常长度较长，这就导致了需要的参数非常多，运算速度很慢。 所以本文会使用一种“孪生网络 + bert + 余弦相似度” 的方式加快改善相似
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译
nopSled
09-25 350
摘要 BERT和Roberta在语义文本相似度（STS）中的句子对回归任务中达到了新的最先好性能。但是，它要求同时将两个句子带入到网络中，这导致大的计算开销，例如，在10,000个句子的集合中查找最相似的句子对需要大约5000万次推理计算（〜65小时）。BERT的构造使其不适合基于语义相似性的搜索以及聚类等无监督任务。 　　在本论文中，我们提出了 Sentence-BERT（SBERT），用triplet网络结构修改了预训练BERT网络，以获得可以使用余弦相似度比较的语义有意义的句子嵌入。这即减少了BERT
Sentence-BERT: Sentence embeddings using Siamese BERT-networks
最新发布
03-26
### Sentence-BERT概述 Sentence-BERT是一种基于BERT模型的改进方法，旨在高效生成句子级别的语义表示。传统的BERT模型虽然能够捕捉词和子句之间的复杂关系，但在实际应用中通常需要计算两个句子之间所有的token对齐相似度矩阵，这使得其时间复杂度较高[^1]。 为了降低这种计算开销并提高效率，Sentence-BERT引入了一种特殊的架构设计——即Siamese网络结构以及Triplet网络结构。这两种结构允许在训练过程中直接学习到适合于下游任务（如语义相似度比较）的句子嵌入向量[^2]。 具体来说，在Sentence-BERT框架下，输入的一组句子会分别经过同一个预训练好的BERT编码器处理得到各自的隐藏状态表示；随后这些隐藏状态会被进一步聚合成为固定长度的向量形式作为最终的sentence embedding输出[^3]。 ### 句子嵌入生成过程详解 当采用Siamese BERT-network来实现上述目标时，主要涉及以下几个方面： #### 数据准备阶段 对于每一对待比较或者分类标注过的正负样本组合(s₁, s₂)，它们将被送入相同的神经网络分支当中共享参数权重wₜ从而获得对应的低维稠密特征表达f(s₁; wₜ), f(s₂ ;wt)[^4] #### 训练损失函数定义 常见的做法是利用余弦距离衡量两句话之间的接近程度，并结合交叉熵或其他对比学习专用的目标优化准则构建整体loss function用于指导整个端到端系统的调整完善工作流程如下所示: \[ L=\sum_{i=1}^{N}-\log \frac{\exp \left(\operatorname{sim}\left(f\left(s_i^+\right), f\left(s_i^-)\right)\right)}{\sum_j \exp \left(\operatorname{sim}\left(f\left(s_i^+\right), f\left(s_j^\prime\right)\right)\right)}} \][^5] 其中\( sim() \) 表达的是某种特定测量方式比如前面提到过的cosine similarity等等. #### 推理预测环节 一旦完成充分迭代后的收敛模型保存下来之后就可以方便快捷地针对新来的测试实例执行前馈操作获取相应高质量的结果了. ```python from sentence_transformers import SentenceTransformer, util # 加载预训练模型 model = SentenceTransformer('all-MiniLM-L6-v2') # 输入句子列表 sentences = ['This framework generates accurate sentence embeddings.', 'Sentence-BERT uses siamese networks to produce these embeddings.'] # 获取句子嵌入 embeddings = model.encode(sentences) print("Embedding shape:", embeddings.shape) ``` 以上代码片段展示了如何使用Hugging Face提供的`sentence-transformers`库加载一个预先训练好Sentence-BERT变体(all-MiniLM-L6-v2)，并通过调用`.encode()`方法快速简便地取得给定文本集合相应的数值化描述信息[^6].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愤怒的可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值