统计词频，使用matplotlib画图验证齐普夫定律

词频统计与可视化

原创

于 2019-08-19 17:50:58 发布 · 1.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理

以下我是用了人民日报的数据和英文数据进行分词，这里我是用的是pkuseg这个分词工具，原因是当时我读了一篇关于翟天临的文章，关于计算相似度，里面使用的是这个工具，然后我是用的是哈工大的停用此表，统计词频、排序等进行一系列的文本与预处理。接下就是使用matplotlib画图啦。

#-*-coding:utf-8-*-
from collections import Counter
import pkuseg
import matplotlib.pyplot as plt
import numpy
#导入文件
with open("The People's Daily.txt",encoding='utf-8') as fp:
    with open("English.txt",encoding='utf-8-sig') as fp1:
     data = fp.read()
     fp.close()
     data1=fp1.read()
     fp1.close()
#人民日报数据清理
def cleanWord(content):
    seg = pkuseg.pkuseg()
    text = seg.cut(content)
    stopwords = []
    with open("哈工大停用词表.txt",encoding="utf-8") as f:
        stopwords = f.read()
    new_text = []
    for w in text:
        if len