31、实时频繁项集挖掘与 SQL 隔离级别到 No - SQL 一致性指标的适配

实时频繁项集挖掘与 SQL 隔离级别到 No - SQL 一致性指标的适配

1. 实时频繁项集挖掘

1.1 现有系统问题与滑动窗口模型

在处理事务时，会有一系列的分区，每个分区包含一定数量的事务。为了让新的分区进入关注范围，最旧的事务会被丢弃。这里采用滑动窗口模型更为合适。现有系统仅使用有限窗口，对于大型数据集可能会导致失败，因此需要采用新的系统。

1.2 新系统流程

新系统用于挖掘频繁项集，具体步骤如下：
1. 输入大型数据集。
2. 确定给定数据集中所有组合的频率，即分别确定每个项集的支持计数。
3. 设定一个特定的阈值。
4. 根据给定的阈值并比较各个项集的支持度，生成频繁项集。

“动态窗口”指的是窗口大小不是有限的。其中的事务分布在各个节点上，这样可以在更短的时间内得到结果，效率更高。从频繁项集中可以生成关联规则，不过查找闭项集超出了本文的范围。

1.3 实验设置与结果

实验基本使用 Apriori 算法的一个变体。Apriori 算法在处理大型数据集时通常会失败，因为其时间复杂度几乎呈指数级增长。但这里借助 Hadoop 的多节点平台，能在很短的时间内得到结果。实验配置如下：
| 配置项 | 详情 |
| ---- | ---- |
| RAM | 32 GB |
| 处理器 | I7 |
| 存储 | 1 TB |
| 事务集 | 50,000 个事务 |
| 框架 | Hadoop |

使用包含 50,000 个事务和 100 个唯一项的大型数据集