[原创]python计算中文文本相似度神器

原创已于 2022-12-28 15:25:39 修改 · 2.5w 阅读

202 ·

CC 4.0 BY-SA版权

文章标签：

#python #自然语言处理 #开发语言

于 2021-12-06 20:17:33 首次发布

python 同时被 2 个专栏收录

74 篇文章

订阅专栏

nlp

4 篇文章

订阅专栏

本文介绍了如何使用sentence-transformers库，特别是paraphrase-multilingual-MiniLM-L12-v2模型进行中文文本的余弦相似度计算，解决访问问题的方法，并提到了text2vec和sentence-transformers包的关系。

介绍

最近因为工作需要，需要使用一个功能，就是中文文本相似度的计算。属于nlp领域的一个应用吧，这里找到一个非常好的包和大家分享。这个包叫sentence-transformers。

这里给大家介绍，如何使用这个包对中文文本做相似度计算（这个包的其中一个小用途罢了）

这里使用的模型是paraphrase-multilingual-MiniLM-L12-v2模型，因为paraphrase-MiniLM-L6-v2模型已经非常好了，paraphrase-multilingual-MiniLM-L12-v2是paraphrase-MiniLM-L6-v2模型的多语言版本，速度快，效果好，支持中文！
这里计算相似度的方法是使用的余弦相似度。

使用步骤

第一步先安装这个包，可以直接使用pip安装：

pip install sentence-transformers

导入包

import sys
from sentence_transformers.util import cos_sim  
from sentence_transformers import SentenceTransformer as SBert

使用模型

model = SBert('paraphrase-multilingual-MiniLM-L12-v2')

因为在中国境内，访问一些模型网站，可能会失败，出现这样的结果：

HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /api/models/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 (Caused by SSLError(SSLError(1, '[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1129)')))

那么我们就可以换成这样的方法：先去下载模型，然后解压到文件夹中，然后直接传递这个文件夹路径就行了。

先去模型网站下载模型：模型网站链接为：https://public.ukp.informatik.tu-darmstadt.de/reimers/sentence-transformers/v0.2/

然后查找paraphrase-multilingual-MiniLM-L12-v2这个模型名字，点击下载即可。

然后将这个模型解压到paraphrase-multilingual-MiniLM-L12-v2文件夹。然后再将这个文件夹路径放到下面的模型即可。


model = SBert("C:\\Users\xxxx\Downloads\\paraphrase-multilingual-MiniLM-L12-v2")

计算结果

下面的内容就很简单了，传递了两个list，分别对每个list里面的文本做encode，然后再计算余弦相似度，最后输出结果。


# Two lists of sentences
sentences1 = ['如何更换花呗绑定银行卡',
              'The cat sits outside',
              'A man is playing guitar',
              'The new movie is awesome']

sentences2 = ['花呗更改绑定银行卡',
              'The dog plays in the garden',
              'A woman watches TV',
              'The new movie is so great']

# Compute embedding for both lists
embeddings1 = model.encode(sentences1)
embeddings2 = model.encode(sentences2)

# Compute cosine-similarits
cosine_scores = cos_sim(embeddings1, embeddings2)
cosine_scores