博客介绍了针对分词系统，词出现频率的表达方法，还分析了两个词之间的相关性，给出相关系数示例。此外，对Booso搜索词频率分布统计，发现少部分符合泊松分布，极高频词可找突发时间；对Baidu最高频词分布分析，其搜索量极大时尾巴部分符合正态分布。
转自：六翼的天使
1] 针对分词的系统，任何一个词出现的频率可以用如下的方法表达：
P(I) = N(I) / Sigma(N(J))
分布见图1
2] 对于任何两个词之间的相关性的分析，相关性的分布如图 2 (乘了系数1000)
超过1000的都是完全相关的词汇，例如手提电脑和便携电脑的相关系数在1500。
3] 针对Booso 搜索词的频率分布的统计分布 见图3：
在非常少的概率部分符合泊松分布。
极高频词的出现可以用来寻找突发时间
4] 针对Baidu最高频词的分布分析，由于其搜索量极大，因此符合正态分布（尾巴部分）见图4
扫一扫
1280
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
