29、大数据频繁模式挖掘

大数据频繁模式挖掘

一、引言

频繁模式挖掘是一项重要的数据挖掘任务，旨在以重复模式的形式发现知识。在过去二十年中，人们发现了许多高效的模式挖掘算法，但大多数算法无法处理如今所谓的“大数据”。例如，社交媒体网站（如 Twitter）的网络日志数据每天产生超过 100 TB 的原始数据；像沃尔玛这样的巨头每年有数十亿笔交易；当今的高通量基因测序平台一次实验就能产生数 TB 的数据。

现有的频繁模式挖掘源数据可能无法存储在单台机器的硬盘上，更不用说其易失性内存了，而且解决方案搜索空间的指数性质加剧了这一问题。可扩展的并行算法是解决大数据环境下模式挖掘问题的关键。

二、频繁模式挖掘概述

自 1994 年 Agrawal 和 Srikant 引入著名的项集模型以来，众多论文提出了在数据库中发现频繁模式问题的高效解决方案。大多数遵循两种常见范式，下面先介绍相关符号和概念，再简要描述这两种范式。

（一）预备知识

1. 项集 ：设 $I = {i_1, i_2, \ldots, i_n}$ 是一组项，项集 $C$ 是 $I$ 的子集，$|C|$ 表示其长度或大小，即 $C$ 中项的数量。给定事务列表 $T$，每个事务 $T \in T$ 是一个项集，$|T|$ 表示事务的总数。事务通常由事务 ID（tid）标识。$C$ 的支持度是 $T$ 中包含 $C$ 的事务比例，即 $\varphi(C) = \frac{|{T|T \in T, C \subseteq T}|}{|T|}$，支持计数或 $C$ 的频率是 $T$ 中包含 $C$ 的事务数量。如果项集的支持度大于用户定义的最小支持