中文词频统计

最新推荐文章于 2021-12-26 23:05:45 发布

weixin_34185320

最新推荐文章于 2021-12-26 23:05:45 发布

阅读量54

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/lzs741788135/p/8663754.html

本文介绍如何使用Python的jieba库进行中文文本的分词处理，并通过实例演示了如何读取文本文件，去除停用词后进行词频统计及排序，最终输出词频最高的前10个词汇。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载一长篇中文文章。

从文件读取待分析文本。

news = open('gzccnews.txt','r',encoding = 'utf-8')

安装与使用jieba进行中文分词。

pip install jieba

import jieba

list(jieba.lcut(news))

生成词频统计

排序

排除语法型词汇，代词、冠词、连词

输出词频最大TOP20

import jieba
f=open('sanwen.txt','r')
text=f.read()
wordlist=list(jieba.lcut(text))

Words={}
for i in set(wordlist):
    Words[i]=wordlist.count(i)

delete_word={'中国的', '是','，','。','：','“','”','的','啊','在','了',
           '去','与','不','、','也','又','就', '和'}

for i in delete_word:
    if i in Words:
        del Words[i]

sort_word = sorted(Words.items(), key= lambda d:d[1], reverse = True)
for i in range(10):
    print(sort_word[i])