11、数据分析算法与数据存储策略

数据分析算法与数据存储策略

1. 数据分析算法与布隆过滤器的应用

在数据分析中，有一种数据结构能在进行可能涉及查询外部数据存储的昂贵计算之前，判断是否曾见过某个流元素。例如，在构建网络监控应用时，可跟踪已知的机器人程序和不良主机。当监控流量时，查询布隆过滤器，如果结果显示某个数据包来自恶意主机，就可执行更复杂的操作来确认是否应拒绝该数据包。

2. 流查询与时间问题

在处理流查询时，需要考虑不同类型的查询，以及在流处理系统中如何处理时间。同时，还介绍了四种强大的流汇总技术，这些技术是许多流分析程序的基础。

3. 数据处理后的选择

当完成数据分析后，有以下四种处理数据的选择：
- 分析并丢弃数据：若数据不满足特定阈值，可在分析后丢弃。但需注意，若仅以流方式处理数据且无其他副本，丢弃后数据将永久丢失。
- 分析并将数据推回流平台：一个流分析的输出可作为另一个流分析的输入，这种模式在多个流处理工作流中很常见，也是 Apache Samza 的核心。
- 分析并存储数据以供实时使用：为了能在事件发生时尽快对数据采取行动，需要将当前和近期数据存储在内存中，以便实时访问。
- 分析并存储数据以供批量/离线访问：虽然在流处理系统中讨论批量/离线存储数据看似奇怪，但我们会从流的角度看待这些存储选项，理解两个系统之间的微妙平衡。

4. 长期存储的需求与方法

4.1 长期存储的场景

有时需要将流处理系统中的数据存储在非流场景的存储系统中，如 Amazon S3、HDFS、HBase 或传统的关系型数据库。当需要写入这些存储时，有以下三种方法：