数据流中的频繁模式挖掘(上)
1. 引言
随着数字商务和通信量的激增,对数据流进行数据挖掘的需求也日益增长。频繁模式挖掘是数据挖掘的一项基本任务,无论是对于静态数据还是流数据而言。其目标是识别数据集中频繁出现的模式和结构,这些模式可能暗示科学现象、经济或社会趋势,甚至安全威胁。此外,模式发现不仅本身很重要,还是关联规则归纳等机器学习任务的基石。
传统上,模式发现算法通常将整个数据集作为一个批次进行处理,并且对数据的遍历次数没有限制。然而,在数据流环境中,数据是连续且无终止地到来,算法必须限制为单遍处理。而且,数据流的长度是不确定的,我们不能等待其结束。通常在处理了一定量的数据后生成初始结果,然后定期修正结果。频繁模式发现的一个特殊挑战是候选模式的组合爆炸问题。
2. 预备知识
2.1 频繁模式挖掘的定义
许多现有的频繁模式挖掘调查或综述都只专注于频繁项集挖掘。这里我们将提供更广泛的覆盖范围,包括序列、树和图等数据和模式类型。
首先给出频繁模式挖掘问题的正式定义:
设 $X = {x_1, x_2, …, x_m}$ 是所有可能的数据项 $x_i$ 的集合。模式 $P$ 是数据项的序列或集合,$P$ 是所有感兴趣的可能模式。流数据集 $T$ 是一系列交易模式,即 $T = {T_1, T_2, T_3, …}$,该序列长度不确定。在时间 $j$ 时,数据窗口 $T_{i,j}$ 是从某个较早时间 $i$ 到当前的有限数据子序列:$T_{i,j} = {T_i, T_{i + 1}, T_{i + 2}, …, T_j}$。
由于较小的模式可能是较大模式的子集,任何数据窗口可能包含众多模
超级会员免费看
订阅专栏 解锁全文
1615

被折叠的 条评论
为什么被折叠?



