python semantic text similarity 解决单词,词组,句子相关性问题

最新推荐文章于 2024-12-28 09:29:01 发布

原创

最新推荐文章于 2024-12-28 09:29:01 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nlp #自然语言处理

本文探讨了文本相似度的实质，涉及词汇和语义的匹配方法，并通过WebBERT模型实例展示了如何计算单词和短语的相似度。重点介绍了如何利用WebBertSimilarity库来评估两个文本之间的相似程度。

一.什么是文本相似度?

需要解决文本相似度必须确定两段文本的词汇相似(lexical similarity) 以及 语义相似(semantic similarity)问题
具体文献参考: Text Similarities : Estimate the degree of similarity between two texts

二.代码实现

# -*- coding: utf-8 -*-
# @Time    : 2021/04/15 09:01
# @Author  :

from semantic_text_similarity.models import WebBertSimilarity

# from semantic_text_similarity.models import ClinicalBertSimilarity

web_model = WebBertSimilarity(device