基于海量数据的关联规则挖掘（七）

Multihash 算法

        有时我们从multistage算法的额外的步骤中获取好处。这个PCY的变形叫做Multihash[7]算法。不同于在连续的两个步骤中使用两个哈希表，该算法在一步中使用两个哈希算法和两个分离的哈希表。如表6.7所述。

        在同一步里使用两个hash表的危险是每个哈希表仅有PCY算法的一半的桶。只要PCY算法的桶的平均计数比支持度阈值低，我们就可以预见大部分的桶都是非频繁桶，并可以在这两个只有一半大小的哈希表上操作完成。在这种情形下，我们选择multihash方法。

        对Multihash的第二步，每个hash表也会被转换为一个bitmap。注意，在图6.7中，两个bitmap占据的空间只有PCY算法的一个bitmap的大小。项对{i，j}被放入候选集C2的条件同multistage：i和j必须是频繁的，且{i，j}对在两个哈希表中必须被hash到频繁桶。

        正如Multistage算法，在Multihash算法中，我们也可以不用限制只使用两个hash表。在Multihash算法的第一步中，我们也可以使用多个hash表。不过风险是桶的平均计数会超过阈值。在这种情况下，这里会只有很少的非频繁桶在每个hash表中。即使这样，一个项对必须被hash到每个hash表的频繁桶中并计数，并且，我们会发现，一个非频繁项对作为一个候选的概率将上升，而不是下降，无利反而有害。

 

 

图3、Multihash算法使用多个hash表在第一步中，左图为第一步处理，右图为第二步处理

       使用两个哈希表的危险是在第一步，每个哈希表仅有PCY哈希表的一半的桶容量。只要PCY桶的平均数目比支持的阈值低，我们就能操作两个一半大小的哈希表，其期望哈希表的大多数桶不是频繁的。这样，在这种情形下，我们可以选择multihash方法。