基于python的中文词频分析

最新推荐文章于 2025-06-01 00:26:23 发布

最新推荐文章于 2025-06-01 00:26:23 发布 · 701 阅读

文章标签：

#python

本文通过实例展示了如何利用Python对中文文本进行词频分析、编码转换、正则表达式匹配等操作，实现聊天记录中个人说话习惯的统计与分析。包括中文编码处理、文本搜索与排序技巧，以及对唐诗宋词的多字词频分析。

受http://yixuan.cos.name/cn/2011/03/text-mining-of-song-poems/这篇文章的启发，觉得PYTHON来做文字处理分析应该不错，可以来做个词频分析，分析聊天记录可以看出每个人的说话习惯

用的是暴力方法不用语义分析直接列出所有出现的字词

做下来觉得难点就在中文编码这部分 python下中文涉及的编码转化确实要琢磨一番

首先数据文件要存为utf-8格式

在python显示中文的关键代码：

import sys reload(sys) sys.setdefaultencoding('utf8') txt.encode('gb18030') txt为中文字符串

搜索中文，用正则表达式匹配：

r = re.compile('[\x80-\xff]+') m = r.findall(txt)

字典排序，按照value排序，代码很精简：

dict=sorted(dict.items(), key=lambda d:d[1])

代码：

#coding=utf-8 #Author: http://blog.youkuaiyun.com/boksic import sys,re reload(sys) sys.setdefaultencoding('utf8') txt = open('blog.youkuaiyun.com.boksic.txt','r').read() wfile=open('result.txt','w') r = re.compile('[\x80-\xff]+') m = r.findall(txt) dict={} z1 = re.compile('[\x80-\xff]{2}') z2 = re.compile('[\x80-\xff]{4}') z3 = re.compile('[\x80-\xff]{6}') z4 = re.compile('[\x80-\xff]{8}') for i in m: x = i.encode('gb18030') i = z1.findall(x) #i+= z2.findall(x) #i+= z2.findall(x[2:]) #i+= z3.findall(x) #i+= z3.findall(x[2:]) #i+= z3.findall(x[4:]) #i+= z4.findall(x) #i+= z4.findall(x[2:]) #i+= z4.findall(x[4:]) #i+= z4.findall(x[6:]) for j in i: if (j in dict): dict[j]+=1 else: dict[j]=1 dict=sorted(dict.items(), key=lambda d:d[1]) for a,b in dict: if b>0: wfile.write(a+','+str(b)+'\n') 感觉匹配的代码还不是很好

于是改了一个直接在utf-8格式下搜索的代码

for l in range(len(i)/3): x+=[i[3*l:3*l+3]] for l in range(len(i)/3-1): x+=[i[3*l:3*l+6]] for l in range(len(i)/3-2): x+=[i[3*l:3*l+9]]
但实际运行速度太慢了，有时还有错误，望高手指点这部分

最后还是用正则搜索的代码，虽然代码比较冗长运行速度还可以 50万字的文件不到一秒就统计完了

（不太理解这里的python正则搜索的速度比数组存取怎么快这么多）

因为这种方法没有什么语义算法，所以得到的结果还需要一些人工筛选

聊天记录的统计效果：

低频单字