gensim 英文文本相似度

最新推荐文章于 2022-03-11 17:25:00 发布

原创

最新推荐文章于 2022-03-11 17:25:00 发布 · 5.2k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#gensim #文本相似度

本文介绍了如何利用gensim库对英文文本进行预处理、构建TF-IDF模型，并通过余弦相似度计算文本之间的相似性，为信息检索和文档分类提供基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
# __jiahuiyu__
"""
对英文的处理
"""

import logging
from gensim import models, similarities, corpora
from collections import defaultdict
import os
# 日志输出
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
# 停用词
stoplist = set('for a of the and to in'.split())
# 英文标点符号
punctions = [' ', '\n', '\t',