TF-IDF向量的计算 - Python实现

NumLock桌

于 2020-12-07 17:20:34 发布

阅读量390

点赞数

本文链接：https://blog.youkuaiyun.com/weixin_43628432/article/details/110823124

版权

本文详细介绍了TF-IDF向量的计算原理，并通过Python代码展示了如何实现这一过程，包括文本预处理、计算词频（TF）、确定逆文档频率（IDF）以及组合成TF-IDF权重矩阵。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import numpy as np
import math
import json
import jieba

class TF_IDF(object):

	def __init__(self):

		self.allPath = [r'计算机专业.txt',r'自动化专业.txt',r'合成生物学.txt']
		self.mySlotPath = r'my_slot.json'
		
		self.numDoc = len(self.allPath)
		self.stopWords = ['，','。','《','》','？','；','‘','’','：','“','”','！','、','的','',' ','\n']

	def get_slot(self):

		allDocStr = ''
		for path in self.allPath:
			with open(path,'r',encoding='utf-8') as f_obj:
				allDocStr += f_obj

最低0.47元/天解锁文章