齐普夫定律

最新推荐文章于 2025-01-30 20:42:30 发布
转载 最新推荐文章于 2025-01-30 20:42:30 发布 · 1.8k 阅读 · 1
文章标签：

#c

　齐普夫定律是美国学者G.K.齐普夫于本世纪40年代提出的词频分布定律。它可以表述为：如果把一篇较长文章中每个词出现的频次统计起来，按照高频词在前、低频词在后的递减顺序排列，并用自然数给这些词编上等级序号，即频次最高的词等级为1，频次次之的等级为2，……，频次最小的词等级为Ｄ。若用f表示频次，r表示等级序号，则有fr＝C(C为常数)。人们称该式为齐普夫定律.

注意此处常数C并不一定是文章总词数。按下来进行推论。

fr=c ==> f/n = c/nr,其中n为文章总词数，因此f/n称之为词的频率。

因而得出f/n = k/r,其中k只与总词数有关.

把文章扩大到全部文章，得出词的频率与排序号例数成正例。通常比例系统k可以求出来。

因为全部词的频率总和为1,即全部的k/r1+k/r2+......+k/rn = 1,其中r1+r2+....+rn = n.

从而得到k的值.

统计词频，使用matplotlib画图验证齐普夫定律
@独寂
08-19 1424
    以下我是用了人民日报的数据和英文数据进行分词，这里我是用的是pkuseg这个分词工具，原因是当时我读了一篇关于翟天临的文章，关于计算相似度，里面使用的是这个工具，然后我是用的是哈工大的停用此表，统计词频、排序等进行一系列的文本与预处理。接下就是使用matplotlib画图啦。 #-*-coding:utf-8-*- from collections import Counter imp...
对《尤利西斯》等三本书，检验其是否符合齐普夫定律
闲敲代码压水花
04-25 936
对《尤利西斯》等三本书，检验其是否符合齐普夫定律 齐普夫定律（Zipf’s law），是美国哈佛大学语言学教授齐普夫（G.K.Zipf）于1948年提出的一个发现：在一种语言中，将词语按使用频率从高到低排序，设其使用频率为F，序号为R，近似有 F∗R=C F*R=C F∗R=C其中C是一个常数。 第一步，调包… import xlwt # 导出xls文件 from matplotlib i...
ZIPF分布、PARETO分布和幂律分布
热门推荐
问道于盲
01-17 1万+
看文章的时候看到互联网上有些部分符合zipf分布，挺都没听说过，于是查下。 查了些资料，发现是哈佛的语言学家zipf在研究语料库的时候发现的，所以也叫齐普夫定律，按照单词在语料库中出现的次数排序，则该单词的排序数与其在语料库中出现频数成反比，或者说，二者乘积为一个常数。 其公式为：P(r) = C / r^α 这里 r 表示一个单词的出现频率的排名，P(r)表示排名为r的单词的出
齐普夫定律（Zipf‘s Law）
最新发布
彬彬侠的博客
01-30 3265
齐普夫定律（Zipf’s Law）是一种经验法则，描述了单词频率分布在自然语言中的规律。齐普夫定律（Zipf’s Law）描述了自然语言文本中的单词频率与排名的幂律关系。数学关系：词频f与排名r之间的关系为f∝1/r s。应用场景：NLP任务（文本分析、词向量建模）；信息检索（搜索引擎、TF-IDF）；文本压缩（高效存储）。Zipf’s Law的Python实现：统计单词频率、绘制对数分布曲线，并拟合幂律函数。
zipf定律 齐普夫定律
Dzwfvz的博客
05-25 2236
一个单词出现的频率与它在频率表里的排名成反比。 齐普夫定律（Zipf’s Law）：一个词在一个有相当长度的语篇中的等级序号（该词在按出现次数排列的 词表中的位置，他称之为rank，简称r）与该词的出现次数（他称为frequency，简称f）的乘积几乎是一个常数（constant，简称C）。 用公式表示，就是 r × f = C 。（此处的C一般认为取0.1） ...
【Python机器学习】NLP词中的数学——齐普夫定律
weixin_39407597的博客
08-28 910
齐普夫定律指出：在给定的自然语言语料库中，任何一个词的频率与它在频率表中的排名成反比。
网络与社会导论之幂律与富者更富及其与长尾、齐普夫定律等的关系
hit15的博客
10-15 978
流行性就是指同一类事物的不同实例被关注、认知或偏爱的程度，比如明星，歌曲或某一类产品。对流行性进行定量观察，例如给定一个国家（地区）的网页集合（s），其中一个网页的入向链接k的概率 服从正态分布，大量各种不同的数据集都显现出这种状态，因此我们说这就是反映网页入度分布的规律，由于服从正态分布，表现形式为幂函数，俗称“幂律”。 幂律简单来说就是流行度的一种主导规律，比如网页...
C++ 词频统计与齐普夫定律
weijifen000的博客
07-29 1109
使用C++统计英语四六级考试词频，并且利用所统计的词频验证齐普夫定律
齐夫定律
qq_41786778的博客
04-09 465
http://www.360doc.com/content/17/0613/23/40101294_662818990.shtml https://blog.youkuaiyun.com/kevinelstri/article/details/52685934 https://blog.youkuaiyun.com/Eastmount/article/details/65443025
齐普夫定律学习笔记
Together_CZ的博客
04-05 1万+
齐普夫定律: 齐普夫定律是美国学者G.K.齐普夫于20世纪40年代提出的词频分布定律。它可以表述为：如果把一篇较长文章中每个词出现的频次统计起来，按照高频词在前、低频词在后的递减顺序排列，并用自然数给这些词编上等级序号，即频次最高的词等级为1，频次次之的等级为2，……，频次最小的词等级为D。若用f表示频次，r表示等级序号，则有fr=C(C为常数)。人们称该式为齐普夫定律。 关于单词在文献中出现
搜索引擎之齐普夫法则
u013146557的博客
05-09 868
背景描述： 如果对一个描述一个事时使用的词进行计数,n那么某些词的频率会远高于其他特定的词，有些高频词在描述任何事件时都存在，例如 “and”和“the”，但是其他高频词是某些特定事件所特有的。Luhn于1958年发现了这个现象，他提出一个词的重要性取决于他在文中出现的频率。词出现的频率的统计模型在信息检索中是非常重要的，应用于搜索引擎的很多部分中。这些模型将会在后续讨论，在此先介绍一些统计词
齐普夫定律在循环神经网络中的语言模型的应用
CSPhD-winston的博客
06-12 1978
齐普夫定律（Zipf’s Law）是一种描述自然语言中单词频率分布的经验法则，它指出在一个文本或语料库中，单词的频率与其出现的排名成反比关系。具体来说，频率最高的单词出现的次数最多，排名第二的单词出现的次数大约是最高频单词的一半，排名第三的单词出现次数是最高频单词的三分之一，依此类推。这里，( \log n_i ) 是单词频率的对数，( \log i ) 是单词排名的对数，( \alpha ) 是斜率，( c ) 是截距。上面的代码统计了文本数据中的词频，并在对数坐标系中绘制了词频图。
梅特卡夫定律vs齐普夫定律vs邓巴“150定律”
厚积薄发
01-10 1321
梅特卡夫定律：网络的价值随着网络用户的增加而呈指数增长。       这是一条关于网上资源的定律, 所以网络上联网的计算机越多，每台电脑的价值就越大。新技术只有在有许多人使用它时才会变得有价值。梅特卡夫定律决定了新科技推广的速度。 —罗伯特·梅特卡夫(Robert Metcalfe)，以太网的联合发明人。 齐普夫定律 ：齐普夫定律是美国学者G.K.齐普夫于本世纪40年代提出的词频分布定律。它...
Zipf law 定律
wangxiaoxiaodeer的博客
01-01 1359
Zipf定律是文献计量学的重要定律之一，它和洛特卡定律、布拉德福定律一起被并称为文献计量学的三大定律。 一个词在一个有相当长度的语篇中的等级序号（该词在按出现次数排列的词表中的位置，他称之为rank，简称r）与该词的出现频率（他称为frequency，简称f）的乘积几乎是一个常数（constant，简称C）。用公式表示，就是 r × f = C 。（此处的C一般认为取0.1） 齐夫定律（英语：Zipf's law，IPA/ˈzɪf/）是由哈佛大学的语言学家乔治·金斯利·齐夫（George Kingsle
基于 N-Gram 文本分类的语言检测器（附详细实现源码）
讨论与分享
05-23 1629
在 N-gram 中，N 表示的是序列中单词或字符的数量。Unigram (1-gram): 单个词或字符Bigram (2-gram): 两个连续的词或字符Trigram (3-gram): 三个连续的词或字符以此类推…“he”“el”“ll”“lo”通过分析文本中的 N-Gram 频率，可以捕捉到文本的语言特征。不同语言的 N-Gram 频率分布是不同的，这也是语言检测的基础。
zipf定律，二八定律，流行度，点击率均可使用
wang_409的博客
12-11 1317
一级目录 二级目录 三级目录 链接: lhttps://download.youkuaiyun.com/download/wang123456___/13619335.
Zipf定律
贾古文的专栏
01-07 5763
齐普夫（Zipf）定律是由美国学者G.K.齐普夫于20世纪40年代提出的词频分布定律。 　　1932年,哈佛大学的语言学专家Zipf在研究英文单词出现的频率时,发现如果把单词出现的频率按由大到小的顺序排列,则每个单词出现的频率与它的名次的常数次幂存在简单的反比关系，这种分布就称为Zipf定律,它表明在英语单词中,只有极少数的词被经常使用,而绝大多数词很少被使用.实际上,包括汉语在内的许多国家的语言都有这种特点。这个定律后来在很多领域得到了同样的验证，包括网站的访问者数量、城镇的大小和每个国家公
关于Zipf定律的理解和python实现
qq_44418077的博客
03-31 4863
关于Zipf定律的理解和python实现Zipf定律含义二级目录三级目录 Zipf定律含义 二级目录 三级目录
齐普夫定律验证python
01-10
### 使用Python验证齐普夫定律 为了验证齐普夫定律，可以通过分析大量文本数据来观察词语频率与其排名之间的关系。具体来说，可以使用Python中的`nltk`库完成这项工作。 #### 导入必要的库 首先安装并导入所需的库： ```python import nltk from collections import Counter import matplotlib.pyplot as plt import numpy as np ``` 如果尚未下载所需资源，则需执行如下命令获取它们: ```python nltk.download('gutenberg') nltk.download('punkt') ``` #### 准备语料库 这里选用Gutenberg项目下的样本作为测试对象之一： ```python from nltk.corpus import gutenberg words = gutenberg.words() tokens = [word.lower() for word in words if word.isalpha()] ``` 上述代码片段用于加载英文经典文学作品集合作为待测文本，并去除其中非字母字符[^1]。 #### 统计词频 接着统计各个词汇出现次数，并按降序排列得到最终列表： ```python frequency_dist = nltk.FreqDist(tokens) sorted_freqs = sorted(frequency_dist.items(), key=lambda item: item[1], reverse=True) ranks = list(range(1, len(sorted_freqs)+1)) frequencies = [freq for _, freq in sorted_freqs] plt.figure(figsize=(8, 6)) plt.loglog(ranks, frequencies, 'b-', label='Observed Frequencies') # 计算理论上的线性拟合直线 coefficients = np.polyfit(np.log(ranks), np.log(frequencies), deg=1) a, b = coefficients predicted_frequencies = a * ranks + b plt.plot(ranks, predicted_frequencies, color="red", linestyle="--", linewidth=2, label=f'Fitted Line (y={round(a, 3)}x+{round(b, 3)})') plt.title("Zipf's Law Verification on Gutenberg Corpus") plt.xlabel('Rank of Words(log scale)') plt.ylabel('Frequency of Words(log scale)') plt.legend(loc='best') plt.grid(True) plt.show() ``` 这段程序绘制了一个图表，横坐标表示单词按照频率高低排序后的名次（取对数值），纵坐标则代表对应位置上单词的实际发生概率（同样经过对数转换）。理想情况下，这些点应该大致分布在一条斜率为负的一次函数曲线上[^2]。 通过以上方法即可直观地检验给定文本集合是否遵循齐普夫定律描述的现象。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值