使用jieba进行关键字词提取(基于TF-IDF)

本文介绍TF-IDF算法原理及Python实现,演示如何使用jieba库从文本中提取关键信息,适用于自然语言处理和文本分类任务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

转自

https://blog.youkuaiyun.com/btod49/article/details/88409488

 

基于TF-IDF的关键词提取
TF-IDF:Term frequency–inverse document frequency

TF-IDF方法通过计算单文本词频(Term Frequency, TF)和逆文本频率指数(Inverse Document Frequency, IDF)得到词语权重,按照权重排序,输出关键字

原理:
TF:如果某个单词在这段文字中出现频率越高,TF越大,说明这个单词对于这段文字越重要
IDF:如果包含词条t的文档越少,也就是n越小,IDF越大,则说明词条t具有很好的类别区分能力
如果某个词出现的频率很高(TF越大),并且在其他文章中很少出现(IDF越大),即TF*IDF越大,则认为这个词适合用来分类,也适合用来当作关键字
python实现

jieba.analyse.extract_tags(string,topK=20,withWeight=True,allowPOS=(" "))
string:待处理语句
topK:返回TF、IDF权重最大的关键字的个数,默认20
withWeight:是否返回权重值,默认false
allowPOS:是否仅返回指定类型,默认为空

import jieba
import jieba.analyse

sentence = "本科及以上学历,计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言,包括SQL。熟悉Linux;"

keywords = jieba.analyse.extract_tags(sentence, topK=20, withWeight=True, allowPOS=('n', 'nr', 'ns'))

for item in keywords:
    print(item[0], item[1])

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

输出结果

编程语言 1.426971375275
在校生 1.3403279777
硕士 1.1087799663225
计算机 0.85059805386
数学 0.826042559475
专业 0.7741456821725
学校 0.71152323753
重点 0.6565789565175

    1
    2
    3
    4
    5
    6
    7
    8

import jieba
import jieba.analyse

sentence = "本科及以上学历,计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言,包括SQL。熟悉Linux;"

keywords = jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=('n', 'nr', 'ns'))

for item in keywords:
    print(item)

    1
    2
    3
    4
    5
    6
    7
    8
    9

输出结果

编程语言
在校生
硕士
计算机
数学
专业
学校
重点

    1
    2
    3
    4
    5
    6
    7
    8

词性对照表(allowPOS可选值)
名词 (1个一类,7个二类,5个三类)
名词分为以下子类:
n 名词
nr 人名
nr1 汉语姓氏
nr2 汉语名字
nrj 日语人名
nrf 音译人名
ns 地名
nsf 音译地名
nt 机构团体名
nz 其它专名
nl 名词性惯用语
ng 名词性语素

时间词(1个一类,1个二类)
t 时间词
tg 时间词性语素

处所词(1个一类)
s 处所词

方位词(1个一类)
f 方位词

动词(1个一类,9个二类)
v 动词
vd 副动词
vn 名动词
vshi 动词“是”
vyou 动词“有”
vf 趋向动词
vx 形式动词
vi 不及物动词(内动词)
vl 动词性惯用语
vg 动词性语素

形容词(1个一类,4个二类)
a 形容词
ad 副形词
an 名形词
ag 形容词性语素
al 形容词性惯用语

区别词(1个一类,2个二类)
b 区别词
bl 区别词性惯用语

状态词(1个一类)
z 状态词

代词(1个一类,4个二类,6个三类)
r 代词
rr 人称代词
rz 指示代词
rzt 时间指示代词
rzs 处所指示代词
rzv 谓词性指示代词
ry 疑问代词
ryt 时间疑问代词
rys 处所疑问代词
ryv 谓词性疑问代词
rg 代词性语素

数词(1个一类,1个二类)
m 数词
mq 数量词

量词(1个一类,2个二类)
q 量词
qv 动量词
qt 时量词

副词(1个一类)
d 副词

介词(1个一类,2个二类)
p 介词
pba 介词“把”
pbei 介词“被”

连词(1个一类,1个二类)
c 连词
cc 并列连词

助词(1个一类,15个二类)
u 助词
uzhe 着
ule 了 喽
uguo 过
ude1 的 底
ude2 地
ude3 得
usuo 所
udeng 等 等等 云云
uyy 一样 一般 似的 般
udh 的话
uls 来讲 来说 而言 说来
uzhi 之
ulian 连 (“连小学生都会”)

叹词(1个一类)
e 叹词

语气词(1个一类)
y 语气词(delete yg)

拟声词(1个一类)
o 拟声词
前缀(1个一类)

h 前缀
后缀(1个一类)
k 后缀

字符串(1个一类,2个二类)
x 字符串
xx 非语素字
xu 网址URL

标点符号(1个一类,16个二类)
w 标点符号
wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <
wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >
wyz 左引号,全角:“ ‘ 『
wyy 右引号,全角:” ’ 』
wj 句号,全角:。
ww 问号,全角:? 半角:?
wt 叹号,全角:! 半角:!
wd 逗号,全角:, 半角:,
wf 分号,全角:; 半角: ;
wn 顿号,全角:、
wm 冒号,全角:: 半角: :
ws 省略号,全角:…… …
wp 破折号,全角:—— -- ——- 半角:— —-
wb 百分号千分号,全角:% ‰ 半角:%
wh 单位符号,全角:¥ $ £ ° ℃ 半角:$
---------------------  
作者:Tyrion49  
来源:优快云  
原文:https://blog.youkuaiyun.com/btod49/article/details/88409488  
版权声明:本文为博主原创文章,转载请附上博文链接!

### 使用 Jieba 实现中文分TF-IDF 关键提取 #### 安装依赖库 为了使用 `jieba` 库进行中文分以及结合 TF-IDF 提取关键,需先安装必要的 Python 包。 ```bash pip install jieba jieba-analyse ``` #### 中文分基础操作 通过调用 `jieba.cut()` 方法可完成基本的中文分工作。此函数返回的是一个生成器对象,可以通过列表推导式转换为字符串列表形式[^2]。 ```python import jieba text = "这是一个测试文本" seg_list = list(jieba.cut(text)) print(seg_list) ``` #### 结合 TF-IDF 进行关键提取 Jieba 提供了一个名为 `analyse` 的模块专门用来做关键抽取。其中包含了两种主要方式来获取文章的关键字:基于 TF-IDF 和 TextRank 算法。这里重点介绍基于 TF-IDF 的实现方案[^4]。 - **初始化 TfidfExtractor** 需要导入 `TfidfModel` 类,并创建实例化对象以便后续调用关键字提取接口。 - **设置停用表** 停用是指那些频繁出现在自然语言处理过程中但对语义贡献较小甚至无意义的汇(比如“的”,“了”)。合理配置这些汇有助于提高最终结果的质量。可通过自定义文件路径加载特定领域内的停用集合[^3]。 - **执行关键提取** 调用 `extract_tags()` 函数传入待解析的文章内容即可得到按照权重排序后的前 N 名关键,默认情况下会给出 topK=20 的结果集[^1]。 ```python from jieba import analyse tfidf_extractor = analyse.extractor() def extract_keywords(content, topK=5): """ Extract keywords from given content using tf-idf algorithm. Args: content (str): The input text to be processed. topK (int): Number of top ranked words returned. Returns: List[Tuple[str, float]]: A list containing tuples with each tuple being a pair consisting of the keyword and its corresponding weight score. """ result = tfidf_extractor.textrank(content, topK=topK, withWeight=True) return [(word, round(weight, 4)) for word, weight in result] sample_text = """近年来,随着人工智能技术的发展,越来越多的企业开始重视数据的价值,在业务决策中引入大数据分析手段成为趋势之一""" keywords_with_scores = extract_keywords(sample_text) for kw, score in keywords_with_scores: print(f"{kw}: {score}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值