60、数据流挖掘中的数据结构与方法

数据流挖掘中的数据结构与方法

1. 尾概率界定方法比较

在处理随机变量时，不同的不等式可用于界定尾概率，它们适用于不同的场景，且强度各异。以下是几种常见方法的比较：
| 方法 | 适用场景 | 强度 |
| — | — | — |
| Chebychev | 任何随机变量 | 弱 |
| Markov | 非负随机变量 | 弱 |
| Hoeffding | 独立有界随机变量之和 | 强 |
| Chernoff | 独立伯努利变量之和 | 强 |

为找到最紧的边界，需要确定使不等式右侧最小的 t 值。最优值 ( t^ ) 为：
[ t^ = \frac{4\theta}{\sum_{i = 1}^{n}(u_i - l_i)^2} ]
将 ( t = t^* ) 代入相应方程，即可得到所需结果。下尾边界可通过对 ( P(E[X] - X > \theta) ) 应用上述步骤得出。

2. 大规模域场景下的概要结构

许多流应用包含离散属性，其取值范围广泛。例如，网络流中的 IP 地址、电子邮件流中的电子邮件地址。在这种大规模域场景下，存储简单的摘要统计信息（如集合成员关系、频繁项计数和不同元素计数）变得具有挑战性，因为可能的取值组合数量巨大。

如果不同元素的数量较少，可以使用数组来更新计数以创建有效摘要。但在大规模域场景中，这种方法不切实际，因为一个包含 ( 10^{16} ) 个元素的数组需要超过 10 PB 的存储空间。此外，对于许多查询（如集合成员关系和不同元素计数），水库采样效果不佳，因为流中大部分可能是不频繁元素，水库会过度代