python中jieba库筛选高频词语

最新推荐文章于 2023-06-15 16:24:46 发布

不知春夏，不知秋冬

最新推荐文章于 2023-06-15 16:24:46 发布

阅读量2.4k

点赞数 1

分类专栏： python 文章标签： linux python jieba库

python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何安装和使用jieba库进行中文文本的精确分词，并展示了如何统计词频并排序输出前15个高频词汇。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装jieba库
pip install jieba
如果失败提示权限问题输入：sudo su

#-*-coding:UTF-8-*-
import json
import  jieba

txt = open("data.txt", "r").read()
words = jieba.lcut(txt)     # 使用精确模式对文本进行分词
counts = {}     # 通过键值对的形式存储词语及其出现的次数

for word in words:
    if  len(word) == 1:    # 单个词语不计算在内
        continue
    else:
        counts[word] = counts.get(word, 0) + 1    # 遍历所有词语，每出现一次其对应的值加 1
        
items = list(counts.items())#将键值对转换成列表
items.sort(key=lambda x: x[1], reverse=True)    # 根据词语出现的次数进行从大到小排序
ite=json.dumps(items,ensure_ascii=False)
print ite
for i in range(15):
    word, count = items[i]
    print word, count

转载地址：https://www.cnblogs.com/wkfvawl/p/9487165.html