ZipF分布和索引设计

最新推荐文章于 2025-09-17 14:38:12 发布
原创 最新推荐文章于 2025-09-17 14:38:12 发布 · 3.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了ZipF分布原理及其在信息技术领域的应用，特别是如何利用这一分布特性来优化数据库索引策略，减少冗余索引，提高查询效率。
     诚如大家所知的、80/20原则：20%的行、会占有80%的访问量
     2/8原则是ZipF分布(齐普夫分布)的一个扩展、描述了这样一个定理：
     只有少数英文单词经常被使用，大部分的单词很少被使用
     
     当我们面对一个长查询/重建索引策略时、或许可以做个ZipF分布

     尽量减少冗余索引的存在、让索引数量刚刚好(PS:貌似太理想了啦)


By David Lin

2013-06-24

Good Luck

ZIPF分布、PARETO分布和幂律分布
问道于盲
01-17 1万+
看文章的时候看到互联网上有些部分符合zipf分布，挺都没听说过，于是查下。 查了些资料，发现是哈佛的语言学家zipf在研究语料库的时候发现的，所以也叫齐普夫定律，按照单词在语料库中出现的次数排序，则该单词的排序数与其在语料库中出现频数成反比，或者说，二者乘积为一个常数。 其公式为：P(r) = C / r^α 这里 r 表示一个单词的出现频率的排名，P(r)表示排名为r的单词的出
zipfian:Ruby 中的 Zipfian 分布
06-06
齐普菲安 实现。 安装 将此行添加到应用程序的 Gemfile 中： gem 'zipfian' 然后执行： $ bundle 或者自己安装： $ gem install zipfian 用法 # 1000: Number of elements # 1.0: Exponent z = Zipfian . new 1000 , 1.0 puts z . n # 1000 puts z . s # 1.0 ( 1 .. 1000 ) . each do | i | puts [ z . pmf ( i ) , z . cdf ( i ) ] . join ' - ' end puts z . sample # Integer between 1 and 1000 初始化开销（CPU、内存） 在初始化时，每个 Zipfian 实例预先计算范围内每个整数点
zipf_rand(N, expn, M)：根据Zipf分布生成随机数-matlab开发
06-01
基于Zipf分布生成随机数作者：Tuyen Tran (tuyen.tran@rutgers.edu)。 2015 年 10 月参考： https : //en.wikipedia.org/wiki/Zipf's_law N 元素数expn 指数M 要生成的样本数（在 [1,N] 范围内） 示例：zipf_rand(3,1,4) 答案 = 3 2 1 1
zipfian分布
Rockics的专栏
06-14 8284
zipf law：在给定的语料中，对于任意一个term，其频度(freq)的排名（rank）和freq的乘积大致是一个常数。 It is known that the number of incoming links to pages on the Web follows a Zipfian distribution. That is, a small number of Web pa
Zipfian分布
GG的专栏
12-19 1万+
最近在看Multi-View Learning of Word Embeddings via CCA这篇文章时，里面提到了一个陌生的概率分布模型.Zipfian distribution一个离散幂律概率分布，也就是常常提到的长尾模型.在自然语言的语料库里，一个单词出现的频率与它在频率表里的排名成反比。频率最高的单词出现的频率大约是出现频率第二位的单词的2倍，是出现频率第三位的单词的3倍。 在Bro
Zipf分布随机数生成器：优化内容访问比例
此外，在网络流量分析、推荐系统设计、社交网络分析等领域，Zipf分布同样提供了重要的理论支持和实践指导。 综上所述，Zipf分布作为一种概率模型，不仅在理论上具有重要意义，也在各个行业和领域中具有广泛的应用...
利用Marshall-Olkin扩展Zipf分布进行图生成与高速图处理
在对来自不同领域的九个真实网络的度分布进行分析时，使用了八种不同的概率模型，包括几何分布、泊松分布、Zipf分布、右截断Zipf分布、Altmann分布、MOEZipf分布、负二项分布和离散Weibull分布。 以下是这九个真实...
倒排索引优化研究：磁盘存储与效率提升
由于磁盘访问时间远高于主存，因此设计合理的存储结构至关重要，尤其是在处理大规模中文文本数据集时，词频分布遵循Zipf定律，这为优化提供了理论依据。" 本文探讨的是信息检索系统中的核心组件——倒排索引的存储...
11、地理数据索引的紧凑数据结构
最新发布
ss78901的博客
09-17 18
本文介绍了一种用于地理数据索引的紧凑数据结构SW-tree，通过优化MBR存储、采用压缩编码技术（如Rice、Elias-Gamma等）和最大集分解策略，在空间占用和查询效率方面实现了良好平衡。该结构在大规模地理数据处理中表现出优于或媲美传统R-tree变体的空间性能，尤其在低选择性查询中表现突出。文章还分析了不同编码方法的优劣、最大集数量对性能的影响，并给出了实际应用中的优化建议，为高效地理索引设计提供了系统性解决方案。
22、阿拉伯文本实体关系提取及索引术语语义关系检测
garlic的博客
08-04 17
本文探讨了阿拉伯文本中实体关系提取与索引术语间语义关系检测的研究现状与挑战。在实体关系提取方面，基于LSTM的模型实现了82.79%的精确率和64.58%的召回率，F-测度为72.56%，但受限于训练数据不足、词形还原错误和提取流程优化空间。与其他模型相比，该模型具有可扩展性优势，未来需构建更全面的阿拉伯语NER数据集并改进算法。在语义关系检测方面，提出了一种基于概率统计模型的方法，结合术语共现频率建模，并引入贝叶斯决策规则实现自动化层次关系识别。统计方法适用于快速关联分析，而语言方法能深入识别复杂语义关系
Zipf分布_matlab_code with link
03-07
通过matlab实现zipf分布的数据--整数 参考 -- https://github.com/Bassemkh/Zipf-distribution
zipf分布
nktxsj的专栏
05-16 1万+
http://blog.lmtw.com/b/peon/archives/2006/39703.html对于CDN的内容管理，有一个基本定律，就是大家常说对于内容的访问遵循80/20原则，也就是20%的内容，会占有80%的访问量。这是一个定性的原则，定量来说，内容访问近似符合Zipf定律(Zipfs law), 这个定律是美国语言学家Zipf发现的，他在1932年研究英文单词的出现频率时
zipf分布c/c++
qq_36683077的博客
02-02 1464
double   zip(int k,double s,int n)//k代表第几项,s代表带入参数，n代表总元素个数   {     //std::cout << data << std::endl;     double result = pow(k,s);     double count = 0.0;     for(int i=n;i>0;i--){    ...
【扫盲】------Zipf分布
热门推荐
qq_36069590的博客
10-17 3万+
  对于CDN的内容管理，有一个基本定律，就是大家常说对于内容的访问遵循80/20原则，也就是20%的内容，会占有80%的访问量。 这是一个定性的原则，定量来说，内容访问近似符合Zipf定律(Zipf's law), 这个定律是美国语言学家Zipf发现的，他在1932年研究英文单词的出现频率时，发现如果把单词频率从高到低的次序排列，每个单词出现频率和它的符号访问排名存在简单反比关系： 这...
zipfian 参数是什么 Zipfian distribution 齐夫定律
软件工程小施同学 的专栏
08-27 2740
zipf law：在给定的语料中，对于任意一个term，其频度(freq)的排名（rank）和freq的乘积大致是一个常数。 Zipfian distribution 一个离散幂律概率分布，也就是常常提到的长尾模型.在自然语言的语料库里，一个单词出现的频率与它在频率表里的排名成反比。 频率最高的单词出现的频率大约是出现频率第二位的单词的2倍，是出现频率第三位的单词的3倍。 t is known that the number of incoming links to pages on th.
c语言 zipf分布,Zipf分布：如何测量Zipf分布
weixin_42534103的博客
05-25 717
我不假装懂统计学。然而，基于对scipy site的阅读，这里有一个python中的天真尝试。在构建数据首先我们得到我们的数据。例如，我们从国家医学图书馆MeSH(医学主题标题)ASCII文件d2016.bin (28 MB)下载数据。接下来，我们打开文件，转换成字符串。在open_file = open('d2016.bin', 'r')file_to_string = open_file.re...
Python幂分布、帕累托分布、Zipf分布
微小冷的学习笔记
12-20 2422
帕累托在1906年提出了有关意大利社会财富分配的分配规律，即20%的人口掌握了80%的财富，这个规律后来被发现十分普遍，以至于约瑟夫·朱兰后来将其称为帕累托法则，也被成为八二法则。
【分布族谱】Zipf分布及其Python可视化
微小冷的学习笔记
05-08 4054
美国学者Zipf在研究词频的时候发现，如果将一篇较长文章中的词频按照高低依次排列，将频次最高者的词记为1、次高者记为2，依次类推，最后使用频率最低的词为N。若用f表示频次，r表示等级序号，则fr是常数，此即Zipf定律。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值