基于海量数据的关联规则挖掘（六）

Mutistage 算法[7]：

        Multistage算法是在PCY算法的基础上使用一些连续的哈希表来进一步降低候选项对。相应的，Multistage需要不止两步来寻找频繁项对。Multistage算法的框图描述在图3中。

       Multistage的第一步跟PCY的第一步相同。在第一步后，频繁桶集也被压缩为bitmap，这也和PCY相同。但是在第二步，Multistage不计数候选项对。而是使用空闲主存来存放另一个哈希表，并使用另一个哈希函数。因为第一个哈希表的bitmap只占了1/32的空闲内存，第二个哈希表可以使用几乎跟第一个哈希表一样多的桶。

       在Multistage的第二步，我们同样是需要遍历篮子文件。只是这步不需要再数项了，因为已经在第一步做了。但是，我必须保留那些项是频繁项的信息，因为我们需要它在第二步和第三步中。在第二步中，我们哈希哈希某些项对到第二个哈希表的桶中。一个对被哈希仅当它满足一下两条条件，即：如果i和j都是频繁的且它们在第一步被哈希到频繁桶中。这样，第二个哈希表中的计数总数将比第一步明显减少。

因此，即便是在第二步是由于第一步的bitmap占据了1/32的空闲空间，剩下的空间也照样够第二步的hash表使用。

        在第二步完成后，第二个hash表同样被压缩成bitmap。该bitmap也同样保存在内存中。这时，两个bitmap加起来也只占到不到空闲内存的1/16，还有相当的内存可用来做第三步的计算候选频繁项对的处理。一个相对{i，j}在C2中，当且仅当满足：

1、  i和j都是频繁项

2、  {i，j}在第一步哈希时被哈希到频繁桶中

3、  {i，j}在第二步哈希时被哈希到频繁桶中

        第三条是Multistage方法和PCY方法的主要区别。

        很显然，在算法中可用在第一步和最后一步中添加任意多的中间步骤。这里的限制就是在每一步中必须用一个bitmap来保存前一步的结果。最终这里会使得没有足够的内存来做计数。不管我们使用多少步骤，真正的频繁项对总是被哈希到一个频繁桶中，所以，这里没有方式来避免对它们计数。

 

图3、Multistage算法使用额外的哈希表来减少候选项对，左图为第一步内存使用情况，中图为第二步内存使用情况，右图为第三步内存使用情况