Spark和Flink当中的常用算子详解

1. Spark中Transformation算子

1.1. map

• 每个元素都会调用一次map方法
• 接收一个函数，把这个函数用于 RDD 中的每个元素，将函数的返回结果作为结果RDD 中对应元素的结果

1.2. lookup

• lookup用于(K,V)类型的RDD,指定K值，返回RDD中该K对应的所有V值

1.3. mapPartitions

• 每个分区调用一次mapPartitions方法
• Return a new RDD by applying a function to each partition of this RDD
• 详细链接

1.4. flatMap

• 意思大概就是将f这个函数应用到Seq里的所有元素，并将函数产生的集合里的元素取出来，组成一个新的集合。然后返回这个新的集合
• 详细链接

1.5. mapPartitionsWithIndex