3、分布式数据处理与实时计算技术解析

分布式数据处理与实时计算技术解析

1. 数据处理类型概述

数据处理主要分为两大类：批处理和顺序或内联处理。顺序处理是基于每个元组进行的，事件在生成或被系统摄取时就立即处理；而批处理则是以批量方式执行，元组或事件不是在生成或摄取时就处理，而是按固定大小的批次进行处理，例如将 100 笔信用卡交易归为一批，然后进行合并处理。

批处理系统的关键方面包括：
- 批次大小或边界
- 批处理操作（开始和结束一个批次）
- 批次排序（根据具体用例需求）

批次可以根据大小（如 x 条记录，例如 100 条记录为一批）来确定，也可以按时间范围划分，如每小时批次、每日批次等，还可以是动态的、由数据驱动的，即输入数据中的特定序列或模式来界定批次的开始和结束。确定批次边界后，需要将这批记录标记为一个批次，可以通过添加头/尾信息或使用一个合并的数据结构，并附带批次标识符。批处理逻辑还会对每个创建和分发处理的批次进行记录和核算。在某些特定用例中，需要保持记录的顺序，这就要求对批次进行排序，批处理逻辑需要进行额外的处理，并在记录核算时格外小心。

2. 分布式批处理介绍

分布式批处理是一种计算范式，先将元组/记录进行批处理，然后将这些批次分发到一个节点/处理单元集群中进行处理。每个节点完成其分配批次的处理后，将结果进行整理和汇总，得出最终结果。在当今的应用编程中，处理大量数据并快速获得结果，单节点机器无法满足需求，因此需要一个庞大的计算集群。

在计算机理论中，增加计算或存储能力有两种方式：
- 向单个节点添加更多计算能力
- 添加多个节点来执行任务

垂直扩展是向现有节点添加更多计