19、使用并行流处理海量数据集 - Map和Reduce模型

使用并行流处理海量数据集 - Map和Reduce模型

Java 8中引入的最重要的创新无疑是Lambda表达式和流API。流是一系列元素，可以按顺序或并行方式进行处理。我们可以通过应用中间操作来转换流，然后执行最终计算以获得所需的结果（如列表、数组、数字等）。

1. 流的介绍

流是一种数据序列（并非数据结构），它允许你按顺序或并发方式应用一系列操作，对元素进行过滤、转换、排序、归约或组织，以获得最终对象。例如，若有一个包含员工数据的流，你可以用它来：
- 统计员工总数
- 计算居住在特定地区的所有员工的平均工资
- 获取未达到目标的员工列表
- 执行任何涉及全部或部分员工的操作

流深受函数式编程的影响（Scala编程语言提供了非常相似的机制），并且设计初衷是与Lambda表达式配合使用。流API类似于C#语言中的LINQ（语言集成查询）查询，在一定程度上也可与SQL查询相比较。

2. 流的基本特征

流具有以下主要特征：
- 不存储元素 ：流从其源获取元素，并将它们传递给构成管道的所有操作。
- 并行处理 ：无需额外工作即可并行处理流。创建流时，可使用 stream() 方法创建顺序流，或使用 parallelStream() 创建并发流。 BaseStream 接口定义了 sequential() 方法以获取流的顺序版本，以及 parallel() 方法