Zipfian分布

最近在看Multi-View Learning of Word Embeddings via CCA这篇文章时，里面提到了一个陌生的概率分布模型.

Zipfian distribution

一个离散幂律概率分布，也就是常常提到的长尾模型.在自然语言的语料库里，一个单词出现的频率与它在频率表里的排名成反比。频率最高的单词出现的频率大约是出现频率第二位的单词的2倍，是出现频率第三位的单词的3倍。
在Brown语料库中出现次数最多的词”the”占语料库中所有词出现次数的$7\%$，排名第二的是”of”占$3.5\%$.

Source From:https://en.wikipedia.org/wiki/Zipf%27s_law