python synonyms 近义词

vision泉

于 2023-05-28 17:48:31 发布

阅读量645

点赞数

文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_38603360/article/details/130915254

版权

该博客介绍了如何使用Python进行中文近义词的搜索。通过将中文词汇转化为训练好的模型向量，再利用余弦距离计算相似度，来找到词汇的近义词。首次运行可能需要下载相关文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from scipy import spatial
import synonyms
S1 = '尽管步履维艰，我们依然不会放弃'
S2 = '就算困难重重，咱们仍旧不能退出'

# 使用 synonyms 计算文本相似度，基于近义词
vec1 = synonyms.v('番茄')
vec2 = synonyms.v('西红柿')
vec3 = synonyms.v('花生')
print(f'番茄的词向量长度为：{len(vec1)}  {list(vec1)}')  # 把中文喂进训练好的模型，让中文变成一个向量
cos_sim = 1 - spatial.distance.cosine(vec1, vec2)  # 余弦计算公式
cos_sim2 = 1 - spatial.distance.cosine(vec1, vec3)  # 余弦计算公式
print(f'番茄与西红柿的余弦距离 {cos_sim}')
print(f'番茄与花生的余弦距离 {cos_sim2}')
print(synonyms.nearby('番茄', size=10))  # 计算词库里每个词与番茄之间的相似度（余弦计算公式）, 找出最近的10个词， 并得出相似度
print(f"茄与西红柿的相似度 {synonyms.compare('西红柿', '番茄', seg=False)}")  # 比较相似度，使用了其他距离公式计算（并非余弦计算公司），因此值是1 seg代表是否是句子
print(f"茄与西红柿的相似度 {synonyms.compare('西红柿', '花生', seg=False)}")  # 比较相似度 seg代表是