分词词频分析和高频词搜索分布

转自：六翼的天使

1] 针对分词的系统，任何一个词出现的频率可以用如下的方法表达：
P(I) = N(I) / Sigma(N(J))
分布见图1

2] 对于任何两个词之间的相关性的分析，相关性的分布如图 2 (乘了系数1000)
超过1000的都是完全相关的词汇，例如手提电脑和便携电脑的相关系数在1500。

3] 针对Booso 搜索词的频率分布的统计分布 见图3：
在非常少的概率部分符合泊松分布。
极高频词的出现可以用来寻找突发时间

4] 针对Baidu最高频词的分布分析，由于其搜索量极大，因此符合正态分布（尾巴部分）见图4