Python3——文章标题关键字提取

最新推荐文章于 2025-07-15 16:19:48 发布

原创

最新推荐文章于 2025-07-15 16:19:48 发布 · 9.9k 阅读

25 ·

CC 4.0 BY-SA版权

通过读取文章标题，使用结巴分词进行词语分割，再利用sklearn的TfidfVectorizer计算Tf-idf权重，提取满足阈值的关键词。关键词包括：农业、大数据、hadoop、分布式、并行增量、爬虫、rpa、优化、服务中心、流程、财务共享、账表核对、特征、统计、趋势、大数据平台、异常、监测、网络、风险、多源异构数据、数据中心、统一访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

思路：1.读取所有文章标题；2.用“结巴分词”的工具包进行文章标题的词语分割；3.用“sklearn”的工具包计算Tf-idf（词频-逆文档率）;4.得到满足关键词权重阈值的词

结巴分词详见：结巴分词Github

sklearn详见：文本特征提取——4.2.3.4 Tf-idf项加权

import os
import jieba
import sys
from sklearn.feature_extraction.text import TfidfVectorizer


sys.path.append("../")
jieba.load_userdict('userdictTest.txt')
STOP_WORDS = set((
        "基于", "面向", "研究", "系统", "设计", "综述", "应用", "进展", "技术", "框架", "txt"
    ))

def getFileList(path):
    filelist = []
    files = os.listdir(path)
    for f in files:
        if f[0] == '.':
            pass
        else:
            filelist.append(f)
    return filelist, path

def fenci(filename, path, segPath):
    
    # 保存分词结果的文件夹
    if not os.path.exists(segPath):
        os.mkdir(segPath)
    seg_list = jieba.cut(filename)
    r