Misra-Gries 算法

Misra-Gries 算法

参考
https://www.cnblogs.com/super-zhang-828/p/7353217.html

前言

Misra-Gries算法是频繁项挖掘中一个著名的算法。频繁项就是那些在数据流中出现频率最高的数据项。频繁项挖掘，这个看似简单的任务却是很多复杂算法的基础，同时也有着广泛的应用。

对于频繁项挖掘而言，一个简单的想法是，为所有的数据项分配计数器，当一个数据项到达，我们即增加相应计数器的值。但当数据流的规模较大时，出于内存的限制，我们往往不可能为每个数据项分配计数器。而Misra-Gries算法则是以一种清奇的思路解决了这个问题，实现了在内存受限的情况下，以较小的错误率统计数据流中的频繁项。

算法作者

Misra-Gries算法在1982年由华威大学的Misra和Gries提出

Misra-Gries算法

即使ϕ的值很大，解决这个问题的算法也至少要花费O(n)的空间。在这种情况下，一个错误率为ϵ的近似算法被提出。这就是我们的Misra-Gries算法。它的具体步骤如下：

首先建立一个大小为k的数组T。

对于数据流中依次到达的项i进行如下处理：如果项i在数组T中，则其对应的计数器ci++；如果项i不在数组T中，且数组T中的元素个数小于k−1，则将项i加入数组T，并为其分配计数器ci=1；其他情况，将数组T中所有元素的计数器减1，此时如果数组T中存在元素的计数器值为0，则从数组T移除这个元素。

当完成对数据流的扫描后，数据T中保存的k′(k′≤k−1)个元素即是数据流中的频繁项。
伪代码如下

Misra-gries算法分析

空间复杂度

如果用平衡二叉树存储key-value数组，其中key，也就是元素的值可以从[ n ] [n][n]中取，因此长度为⌈ log ⁡ n ⌉ \lceil \log n\rceil⌈logn⌉。value，也就是频数，最大不超过m mm，因此长度为⌈ log ⁡ n ⌉ \lceil \log n\rceil⌈logn⌉。最多存储k − 1 k-1k−1个这样的key-value对。因此空间复杂度为O ( k ( log ⁡ m + log ⁡ n ) ) O(k(\log m + \log n))O(k(logm+logn))。
————————————————
版权声明：本文为优快云博主「十三言」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/karroyan/article/details/110818901

其他讨论

公认无误的逻辑是，

① 运算逻辑是：不满就放入，如果满了就消掉一行，每个记录中的项都减一；

② Misra-Gries算法输出的数据项并不一定是频繁项，但是频繁项一定在输出结果之中。

③ 频繁项（频数>=n/k）要出现在最终的结果里

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40208392/article/details/112794548
———————————————— 版权声明：本文为优快云博主「Yuhui Wang」的原创文章，遵循CC 4.0
BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/qq_40208392/article/details/112794548

上面这位博主的想法我觉得有问题，这个近似算法的输出的数据项不应该是输出所有的频繁项，而应该是输出的项都是频繁项，而不能输出所有频繁项。
因为

你说说看，这个近似算法是高估了频繁元素的数量还是低估了？

小可：内存中的频繁元素的计数器不断地由于内存被占满而被削减，显然是低估了。

Mr.
王：没错，我们不能仅仅知道结果是低估了准确值，最好还要能根据算法分析出究竟低估了多少。想要知道低估了多少，我们首先要考虑的就是一个计数器被减小了几次。这就需要我们考虑到在整个算法的执行过程中，执行过多少个减少计数器的步骤。假如把整个结构的权重（也就是计数器的和）记作m’，整个数据流的权重（全部元素的数量）记作m。每当计数器需要降低时，由于内存中有k个计数器，我们也就减少了k个计数器，但是这时新到来的元素x并未计入内存中的计数器，它的到来只是标志着该削减计数器了，所以我们少加了k+1个计数器。因此，最多有个减少步骤。也就是说，估计和真实值最多相差。如果数据流的元素总量远大于值，我们可以得到一个好的频繁元素的估计。

可以看出，错误的界限是与k成反比的。你说说看，这说明什么？

小可：k 是内存中计数器的个数，也就是内存的大小，这说明内存越大，结果就越准确。

Mr. 王：嗯，这也是符合客观规律的。而且我们可以利用数据概要来计算错误的界限，只需要记录m、m’ 和k就可以了。

不过不难看出，如果数据集合中每个元素的数量都相差不多的话，这个算法求出的结果会具有很大的随机性，好在我们一般需要处理的数据都满足Zipf法则。

Zipf法则：典型的频率分布是高度偏斜的，只有少数频繁元素，最多10%的元素占元素总个数的90%。这个定律说明，只有少数的元素是大量重复出现的，而绝大多数元素的出现是不频繁的。

根据Zipf法则我们知道，频繁元素的种类只有少数，而其数量往往是非常大的，在算法执行的过程中，不断地削减内存中的计数器对于频繁元素最终被保留在内存里不会有太大程度的影响。

https://cloud.tencent.com/developer/article/1086891

作业

8. 给定输入流< b, a, c, a, d, e, a, f, a, d>,计数器个数k = 3。请逐步写出Misra- Gries 算法执行的结果。
   我的答案（不保证对）
   i=b c_b=1 {b}
   i=a c_a=1 c_b=1 {b,a}
   i=c c_a=0 c_b=0 {}
   i=a c_a=1 {a}
   i=d c_d=1 c_a=1 {a,d}
   i=e c_a=0 c_d=0 {}
   i=a c_a=1 {a}
   i=f c_f=1 c_a=1 {f,a}
   i=a c_f=1 c_a=2 {f,a}
   i=d c_f=0 c_a=1 {a}