
文本相似
文本相似 语义相似 等相似度计算
微知girl
我是NLP相关方向研究生,小白一枚,梦想自己有一天能混成业界大牛,文章或代码有任何错误欢迎指出,不胜感激~ 如果觉得对您有用请关注点赞,(#^.^#) 希望大家能一起探讨相关方面问题,互相学习,互相进步,(●'◡'●)~~
展开
-
相似文本和文本表示 (链接总结)
列一下我之前研究的文本相似相关的一些博文文档相似度算法 Simhash语义相似度匹配(一)—— DSSM模型语义相似度匹配(二)—— ESIM模型sentence transformer另外,很多文本相似也可以通过句向量余弦相似度计算,相关文本表示博文有:文本表示(一)—— word2vec(skip-gram CBOW) glove, transformer, BERT文本表示(二)—— word2vec 词向量训练代码文本表示(三)—— fasttext 词向量调..原创 2021-03-04 14:05:23 · 235 阅读 · 1 评论 -
sentence transformer
官方介绍https://sbert.net/docs/training/overview.htmlsentence-transformer仓库地址:UKPLab/sentence-transformers。主要是用来做文本相似的,框架如下:貌似还提供了其他预训练模型的支持,以及训练好的通用模型,其中包括一个多语言的distiluse-base-multilingual-cased模型。其它参考链接:https://zhuanlan.zhihu.com/p/1979588...原创 2021-02-09 18:04:49 · 2641 阅读 · 0 评论 -
语义相似度匹配(二)—— ESIM模型
语义相似度匹配(一)—— DSSM模型一、概述论文来源:TACL 2017论文链接:Enhanced LSTM for Natural Language Inference参考文献:短文本匹配的利器-ESIMhttps://zhuanlan.zhihu.com/p/47580077https://blog.youkuaiyun.com/qq_36733823/article/details/101907000 (高校计算机大赛附代码)https://blog.csdn.n...原创 2020-11-26 19:18:26 · 2963 阅读 · 0 评论 -
语义相似度匹配(一)—— DSSM模型
一、简介论文:Learning Deep Structured Semantic Models for Web Search using Clickthrough Data微软13年提出的计算文本相似度的深度学习模型,核心思想是将query和doc映射到到共同维度的语义空间中,通过最大化query和doc语义向量之间的余弦相似度,从而训练得到隐含语义模型,达到检索的目的。DSSM有很广泛的应用,比如:搜索引擎检索,广告相关性,问答系统,机器翻译等。网络框架如下:二、 原理对输入文本的原创 2020-11-25 14:53:13 · 3658 阅读 · 0 评论