语言统计学三大定律：Zipf law，Heaps law和Benford law

最新推荐文章于 2023-10-24 00:01:19 发布
原创 最新推荐文章于 2023-10-24 00:01:19 发布 · 1.7w 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言 #审查

本文介绍了语言统计学中的三大定律：Zipf定律、Heaps定律和Benford定律，并解释了它们在语言学研究中的应用，尤其是Benford定律在会计审计及政治选举中的独特作用。
部署运行你感兴趣的模型镜像

 

语言统计学三大定律：Zipf law，Heaps law和Benford law

zipf law：在给定的语料中，对于任意一个term，其频度(freq)的排名（rank）和freq的乘积大致是一个常数。

Heaps law：在给定的语料中，其独立的term数（vocabulary的size）v（n）大致是语料大小（n）的一个指数函数。

Benford law：在自然形成的十进制数据中，任何一个数据的第一个数字d出现的概率大致log10(1+1/d)

 

其中Benford law还在会计作假帐的审查和政治选票合法性审查起到了重要作用。

 

 

推荐阅读：

（1）Zipf and Heaps Laws’ Coefficients Depend on Language：http://www.gelbukh.com/CV/Publications/2001/CICLing-2001-Zipf.htm

 (2)  http://limiao.net/1450

 (3) http://www.douban.com/group/topic/11417532/

 (4) http://blog.youkuaiyun.com/pennyliang/archive/2006/09/11/1207832.aspx

 

您可能感兴趣的与本文相关的镜像

Qwen-Image-Edit-2509

Qwen-Image-Edit-2509

图片编辑
Qwen

Qwen-Image-Edit-2509 是阿里巴巴通义千问团队于2025年9月发布的最新图像编辑AI模型，主要支持多图编辑，包括“人物+人物”、“人物+商品”等组合玩法

pennyliang
关注
LLM词频规律：Zipf定律
ZJQ的博客
07-15 87
摘要：Zipf定律揭示自然语言中词频呈现幂律分布，即第n高频词的出现频率与n成反比。研究表明，在英语和中文文本中，少数高频词（如前10%）覆盖大部分内容，而多数低频词出现极少。该规律在NLP领域有广泛应用，如词汇表优化、文本压缩和信息检索，通过重点处理高频词和过滤停用词提升效率。Zipf定律为理解语言结构及优化相关技术提供了重要理论基础。（149字）
idl代码与Matlab-Zipf-s-Law-NLP:简短而全面的代码，用于使用zipf定律和pearson相关系数对文本数据进行数学处理
05-26
简短而全面的代码，用于使用zipf定律和pearson相关系数对文本数据进行数学处理 作者简介 姓名：Anirudh Kalla 附属机构：印度科普教育科学研究所 部门：物理 嘿，谢谢您访问这个空间，希望您在这里找到有用的东西。 ...
统计学之大数定律、小数法则
meowing的博客
03-01 6894
大数定律（Law of Large numbers）:在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。随着样本的增大，随机变量对平均数的偏离是下降的。 如：抛掷一枚硬币，正面和反面的概率均为50%，但当抛掷硬币无限次，硬币为正面的频率将逐渐近似于它的概率50%。 赌场、“诈骗”、保险等都是大数定律的例子。 大数定律反映了一个自然规律：在一个包含众多个体的大群体中，由于偶然性而...
5.1索引压缩-词项的统计特性(Heaps定律、Zipf定律)
qq_45783383的博客
11-22 1427
提示： 信息检索：索引压缩文章目录回顾Heaps定律Zipf定律 回顾 Heaps定律 一种对词项数目M进行估计的方法是采用Heaps定律： M=kT^b。  对RCV1文档集来说，虚线log10M = 0.49log10T + 1.64 是基于最小二乘法的最佳拟合，则M= 101.64 * T0.49, 所以k =101.64≈44, b=0.49对RCV1是一个很好的经验拟合.  对于前1,000,020个词条,Heaps定律会估计得到大约38,323个词项;而实际数目是38365,和估计值非常
三大IT定律
weixin_38190650的博客
11-18 3802
前言在信息技术高速发展的今天，你是否想过，到底是什么主导信息革命，而科技的发展又是按什么规律前行的呢？ 在IT行业的数十年历程中，有三大规律一直适用。他们从对整个计算机产业影响最关键的几个因素出发，客观描述了整个计算机产业的发展规律。所以 ，今天我们将来来谈谈摩尔定律， 安迪-比尔定律和反摩尔定律摩尔定律内容当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提
Heaps
丁一的博客
09-04 1330
#include<iostream> #include<vector> using namespace std; vector<int> v; int M,N; void postOrder(int index){ if(index>=N) return; postOrder(2*index+1); postOrder(2*index+2); ...
机器学习(Machine Learning)&深度学习(Deep Learning)资料
weixin_33708432的博客
04-07 8130
转载自机器学习(Machine Learning)&深度学习(Deep Learning)资料 希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多． 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感...
zipfextR:Zipf扩展分布
04-03
和Casellas，A.（2013）arXiv：1304.4540，Zipf-Poisson Extreme（Zipf-PE） -泊松停止和（Zipf-PSS）分布和Zipf-Polylog。 在对数-对数刻度中，前两个扩展名允许最大凹度和最大凸度，而第三个扩展名仅允许最大凹度...
文本词汇分析：Zipf定律、停用词、tfidf与搭配词研究
# 文本词汇分析：Zipf定律、停用词、tfidf与搭配词研究 ## 1. Zipf定律验证 Zipf定律指出，在足够大量的文本中，若按词频降序排列单词，单词的频率与其排名成反比。为验证该定律，我们选取了Whovian语料库，该语料...
掌握Zipf定律：定制范围的随机数生成器
zipf分布是一个描述自然语言中词频分布的统计定律，它广泛应用于计算机科学、语言学、信息科学等领域，用以分析和预测各种现象中的不均匀分布规律。在信息技术领域，zipf分布常被用来模拟用户行为、网络流量、文档...
NLP入门——语言结构/语言建模
noobiee的博客
10-24 8803
1. 语素 morphemes词素是最小的有意义的语言单位，不能够进一步划分为更小的单位而不破话或彻底改变其词汇意义或语法意义。语素和词的区别在于，许多语素不能独立存在。而能够单独存在并且有意义的语素叫做；不能独立存在，要借助其他语素表达意义的语素则称之为。每个词都包含最少一个语素。按能否需要特别指出，有时候派生语素和屈折语素会采用同一种表现形式。比如说，-er，当这个后缀跟在形容词后面，它作为屈折语素，表示比较级；当跟在动词后面，则是一个派生语素，形成一个新词，如cook-cooker。从。
齐夫定律， Zipf's law，Zipfian distribution
weixin_30258901的博客
11-19 1516
齐夫定律（英语：Zipf's law，IPA英语发音：/ˈzɪf/）是由哈佛大学的语言学家乔治·金斯利·齐夫（George Kingsley Zipf）于1949年发表的实验定律。 它可以表述为： 在自然语言的语料库里，一个单词出现的频率与它在频率表里的排名成反比。 所以，频率最高的单词出现的频率大约是出现频率第二位的单词的2倍， 而出现频率第二位的单词则是出现频率第四位的单词的...
1147 Heaps 解析
sheepyWYY的博客
02-19 403
感觉最近两次30分的题，不像以前那么麻烦了... 检查最大最小堆.然后做一个后续遍历...序号从1开始就好了..多注意下端点的值，别搞错就好了。 #include <iostream> #include <string> #include <string.h> #include <queue> #include <map> #inc...
Conway's law
glj233的专栏
06-02 495
Conway's law的核心如下： Any organization that designs a system (defined broadly) will produce a design whose structure is a copy of the organization's communication structure.
zipfian分布
Rockics的专栏
06-14 8284
zipf law：在给定的语料中，对于任意一个term，其频度(freq)的排名（rank）和freq的乘积大致是一个常数。 It is known that the number of incoming links to pages on the Web follows a Zipfian distribution. That is, a small number of Web pa
[ 杂题 复杂度分析 ] Codeforces955F Heaps
gjghfd
03-26 519
对于 k=1k=1k=1 ，可以直接树形DP求出答案。 对于 k>1k>1k>1 ，显然 maxdepth<logknmaxdepth<logk⁡nmax_{depth}dpi,jdpi,jdp_{i,j} 表示 iii 号点，depthdepthdepth 为 jjj 时最大的 kkk ，那么状态数是 O(nlogn)O(nlog⁡n)O(n\log n) 的。 如果...
数据分析必知必会：一文搞懂统计学常考定律！
SeizeeveryDay的博客
10-19 3543
Mykite | 作者人人都是产品经理|来源http://www.woshipm.com/data-analysis/917862.html本文将从结合实际工作的案例来介绍在日常工作...
计算机科学三大定律
Viktor的专栏
12-16 1万+
一、摩尔定律 计算机第一定律——摩尔定律Moore定律1965年，戈登·摩尔（GordonMoore）准备一个关于计算机存储器发展趋势的报告。他整理了一份观察资料。在他开始绘制数据时，发现了一个惊人的趋势。每个新芯片大体上包含其前任两倍的容量，每个芯片的产生都是在前一个芯片产生后的18-24个月内。如果这个趋势继续的话，计算能力相对于时间周期将呈指数式的上升。Moore的观察资料，就是现在所谓的
概率论几大分布和统计学三大检测简述
热门推荐
rav009的专栏
08-19 2万+
二项分布 二项分布是一个离散概率分布 在n次独立的实验中, 事件A 发生的概率为p(不发生的概率则为1-p),那么最终事件A 发生k(k大于等于0,小于等于n)次的概率为: nCk * p^k * (1-p)^(n-k) 其中 nCk 的意思是 组合(n中取k) 泊松分布 泊松分布是二项分布的一个变形和取极限,它通常被用来描述一段时间内或者一定空间内事件的发生次
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值