Raki的读paper小记：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

最新推荐文章于 2024-03-15 13:35:42 发布
最新推荐文章于 2024-03-15 13:35:42 发布
阅读量885 收藏 1
点赞数
分类专栏： NLP 读paper 文章标签： bert 自然语言处理 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raki_J/article/details/123581350
版权

Abstract & Introduction & Related Work

  • 研究任务
    • sentence embedding
  • 已有方法和相关工作
    • InferSent
    • Universal Sentence Encoder
    • Skip-Thought
  • 面临挑战
    • BERT在文本语义相似度上达到了sota，然而，它需要将两个句子都送入网络，这导致了大量的计算开销。在10,000个句子的集合中找到最相似的一对，需要用BERT进行大约5千万次推理计算（约65小时）。BERT的构造使其不适合于语义相似性搜索以及无监督的任务，如聚类
  • 创新思路
    • 使用连体和三连体网络结构，得出有语义的句子嵌入，可以使用余弦相似度进行比较。
      这将寻找最相似对的代价从BERT/RoBERTa的65小时减少到SBERT的约5秒，同时保持BERT的准确性
    • 之前的神经句嵌入模型都是从零开始训练，而我们在BERT/RoBERTa上面fine-tune，甚至可以少于20分钟
  • 实验结论
    • sota

Model

Sentence-BERT在BERT和RoBERTa的输出层加了一个pooling层，以获得一个固定大小的句子嵌入

我们试验了三种集合策略：

  1. 使用CLS-token的输出
  2. 计算所有输出向量的平均值（MEANstrategy）
  3. 以及计算输出向量的m
最低0.47元/天 解锁文章
SiameseBERT-Notebook:使用Siamese-BERT编码的快速语义搜索
05-27
暹罗语-笔记本 使用Siamese-BERT编码的快速语义搜索 SiameseBERT-SemanticSearch.ipynb Google Colab笔记本说明了如何使用Sentence Transformer python库快速创建句子的BERT嵌入并执行快速的语义搜索。 Sentence Transformer库在和上可用。 该库实现了Nils Reimers和Iryna Gurevych编写的ACL 2019论文中的代码，该论文的标题为“-BERT ”。 引用原始ACL纸： @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils an
论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
rotation博客
10-21 4867
论文信息 题目 Sentence Embeddings using Siamese BERT-Networks 使用孪生BERT网络结构的句子嵌入 作者 Nils Reimers, Iryna Gurevych 论文水平 EMNLP 2019 其它 论文下载地址：https://arxiv.org/abs/1908.10084 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-tansformers文档：官方文档 sentenc-tansformers非常
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
zj71hmvx的博客
03-09 1349
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 代码 BERT 的构造使其不适合语义相似性搜索以及聚类等无监督任务。 别人很完善的总结 介绍 这篇论文介绍了 Sentence-BERT (SBERT)，它是对预训练 BERT 网络的一种修改，它使用连体siamese 和三元组网络triplet network 结构来推导语义上有意义的句子嵌入，可以使用余弦相似度进行比较。这将工作量从 BERT / RoBERTa 的 65 小时减
【文献翻译】Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
gengmeng_的博客
01-02 515
在本论文中，我们介绍了Sentence-BERT(SBERT)，它是使用孪生网络和三元组网络对BERT网络进行的修改，能够导出具有语义意义的句子嵌入。这使得BERT可以用于某些新任务，而这些任务迄今为止不适用于BERT。这些任务包括大规模语义相似性比较、聚类和通过语义搜索进行信息检索。BERT在各种句子分类和句子对回归任务上设置了新的最先进的性能。BERT使用交叉编码器：将两个句子传递到transformer网络并预测目标值。但是，由于可能的组合太多，此设置不适用于各种对回归任务。
web-service:Raki音乐应用程序的Web服务
05-22
＃Raki音乐应用程序Web服务Raki Music Android应用程序已发布。 您可以从此链接访问它。 Web服务开发过程中使用了Spring库，而ORM使用了Hibernate。 如果这是您的第一次或正在考虑对Spring和Hibernate感兴趣。 查看...
详细介绍Sentence-BERT:使用连体BERT网络的句子嵌入
zag666的博客
01-30 4934
Sentence-BERT（SBERT）是一个使用连体和三连体BERT网络的修改，能够得出有语义的句子嵌入。这使得BERT能够用于某些目前为止还不适用于BERT的新任务。这些任务包括大规模的语义相似性比较、聚类和通过语义搜索的信息检索。BERT在各种句子分类和句子对回归任务上创造了新的最先进的性能。BERT使用交叉编码器：两个句子被传递给transformer网络并预测目标值。然而由于可能的组合太多，这种设置不适合各种配对回归任务。
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks paper学习
hxshine的博客
08-03 458
abstract 计算相似度，原始bert需要将两个句子都放到里面去重新计算，计算量非常大。 本文修改预训练bert的网络结构，利用siamese和triplet网络结构来计算语义相似度 优化了速度，维持了精度 1 Introduction 本文可以支持将bert用于大规模的相似度比较，聚类，信息检索，以及语义搜索。 现在比较常见的方法是取最后一层bert的平均值，或者取cls特征。 上面两个取得的embedding效果非常差，可能比平均Glove embedding还差 比inferSent网络居然高了.
论文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks翻译笔记（句子嵌入、语义搜索）
最新发布
weixin_56242678的博客
03-15 1161
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks论文翻译笔记，有关句子嵌入、语义检索等。
Sentence-BERT: 一种能快速计算句子相似度的孪生网络
张伟的专栏
08-01 2826
一、背景介绍 　　BERT和RoBERTa在文本语义相似度等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务（例如：聚类）。 　　本文基于BERT网络做了修改，提出了Sentence-BERT(SBERT)网络结构，该网络结构利用孪
论文笔记--Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
weixin_38124427的博客
05-16 717
BERT系列文章阅读之SBERT：一种更快更优的文本对分析方法
计算句子向量相似度：SentenceBert和SimCSE
smartcat2010的博客
02-23 1359
Sentence Bert；SimCSE；
一句话理解bert与milvus实战
butiful1的博客
03-02 536
首先，本文项目使用开源的 bert-as-service ，使用 BERT 做为句子编码器，将新闻标题数据转化为固定长度为 728 维的特征向量，并导入 Milvus 库。 然后，对存入 Milvus 库中的特征向量进行存储并建立索引，同时 Milvus 会给这些特征向量分配一个 ID，将 ID 和对应的新闻标题和文本存储在 PostgreSQL 中。 最后，用户输入一个新闻标题，BERT 将其转成特征向量。Milvus 对特征向量进行相似度检索，得到相似的新闻标题的 ID ，在 PostgreSQL 中
milvus问答系统部署
nilm61的专栏
03-21 2683
一、前言 基于centos 操作 该项目结合Milvus和BERT来构建问答系统。这旨在提供一种结合人工智能模型的Milvus实现语义相似性匹配的解决方案。github地址：Milvus问答系统 英文部署说明地址:https://github.com/milvus-io/bootcamp/blob/v2.0.2/solutions/question_answering_system/quick_deploy/README.md 二、配置docker环境 #安装docker yum install
从 Sentence-BERT 谈句子表征
Kaiyuan_sjtu的博客
11-12 1872
作者|太子长琴整理|NewBeeNLP在之前那篇 NLP 表征的历史与未来[1] 里，我们几乎从头到尾都在提及句子表征，也提出过一个很重要的概念：“句子” 才是语义理解的最小单位...
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks解读
qq_33221657的博客
12-17 1082
摘要 使用bert和roberta来计算句子相似度太耗时，本文作者提出sentence-bert，使用孪生或三生网络对bert pretrain 进行修整，在sentence embeddings methods上取得sota。 介绍 1 .bert计算句子相似度 a.监督方法 做法：合理使用bert结构，将上句和下句放入bert结构中，进行finetune 。BERT uses a cross-encoder: Two sentences are passed to the transformer net
BERT句向量(一)：Sentence-BERT
热门推荐
sgyuanshi的博客
04-26 1万+
前言 句向量：能够表征整个句子语义的向量，目前效果比较好的方法还是通过bert模型结构来实现，也是本文的主题。 有了句向量，我们可以用来进行聚类，处理大规模的文本相似度比较，或者基于语义搜索的信息检索。 例如搜索系统中的输入query和匹配文档document、Q&A任务的问题和答案等等，都可以转化为计算两个句子的语义相似/相关度，相关度最高的n个作为模型的返回结果。 题外话 这种类似的模型一般称为passage retrieval models，即段落检索，有两个代表： sparse model
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值