SparkCore(3)

编程模型

        在Spark中,RDD被表示为对象,通过对象上的方法来调用来对RDD进行转换.经过一系列的trankformations定义RDD之后,就可以调用actions触发RDD的计算,actions可以是想应用程序返回结果(count,collect)等,或者向储存系统保存数据(saveAsTextFile等).在Spark中,只有遇到action才会执行RDD的计算(即延迟计算),这样在运行时可以通过管道的方式传输多个转换

        要使用Spark,开发者需要编写一个Driver程序,它被提交到集群以调度运行Worker,如下图所示.Dirver中定义了一个或多个RDD,并调用RDD上的action,Worker则执行RDD分区计算任务

RDD创建

        在Spark中创建RDD的创建方式大概可以分位三种:从集合中创建RDD;从外部存储创建RDD;从其他RDD创建

由一个已经存在的Scala集合创建,集合并优化

三种方式创建RDD

示例代码: 

val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))

var rdd1: RDD[Int] = sc.makeRDD(List(1,2,3,4,5))

val rdd3: RDD[String] = sc.textFile("")

其他RDD转换获得

val rdd4: RDD[Int] = rdd.map(x => x * 10)

TransFormation

map(func) ,返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成

var mapadd = rdd1.map(_*2)

mapPartitions(func)

类似于map,但独立地在RDD的每一个分片上运行,因此在类型为T的RDD上运行时,func的函数类型必须是Iterator[T] =>Itertor[U].假设有N个元素,有M个分区,那么map的函数的将被调用N次,而mapPartitions被调用M次,一个函数一次处理所有分区

glom

将每一个分区形成一个数组,形成新的RDD的类型[Array[T]]

flatMap(func)

类似于map,但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列,而不是单一元素)

filter(func)

返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成

mapPrrtitionsWithIndex(func)

类似于mapPartitions,但func带有一个整数参数表示分区的索引值,因此在类型为T的RDD上运行时,func的函数类型必须是(Int,Interator[T)]=>Iterator[U]

sample(withReplacement,fraction,seed)

以指定的随机种子随机抽样出数量为fraction的数据,withReplacement表示是抽出的数据时否放回,true为有放回的抽样,false为无放回的抽样,seed用于指定随机数生成器种子.

distinct([numTasks]))

对源RDD进行重后返回一个新的RDD默认情况下,只有8个并行任务来操作,但是可以传入一个可选的numTasks参数改变它

partitionBy

对RDD进行分区操作,如果原有的partitionRDD和现有的partitionRDD是一致的话就不进行分区,否则会生成shuffleRDD

coalesce(numPartitions)

缩减分区数,对于大数据集过滤后,提高小数据集的执行效率

repartition(numPartitions)

根据分区数,从新通过网络随机洗牌所有数据

repartitionAndSortWithinPartitions(partier)

repartitionAndSortWithinPartitions函数是repartition函数的变种,与repartition函数不同的是,repartitionAndSortWithinPartitions在给定partitioner内部进行排序,性能比repartition要高

sortBy(func,[ascending],[numTasks])

用func先对数据进行处理,按照处理后的数据比较结果排序

union(otherDataset)

对源RDD和参数RDD求并集后返回一个新的RDD   不去重

subtract(otherDataset)

计算差的一种函数,去除两个相同的元素,不同的RDD将保留下来

intersection(otherDataset)

对源RDD和参数RDD求交集后返回一个新的RDD

cartessian(otherDataset)

笛卡尔积

pipe(command,[envVars])

管道,对每个分区,都执行一个perl或者shell脚本,返回输出的RDD

join(otherDataset,[numTasks])

在类型为(k,v)和(k,w)的RDD上调用,返回一个相同key对应的所有元素在一起的

cogroup(otherDataset,[numTasks])

在类型为(k,v)和(k,w)的RDD上调用,返回一个(K,(Iterble<V>,Iterable<W>))类型的RDD

reduceByKey(func,[numTasks])

在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合到一起，reduce任务的个数可以通过第二个可选的参数来设置

groupByKey

groupByKey也是对每个key进行操作，但只生成一个sequence

combineByKey[c]

对相同K，把V合并成一个集合。

createCombiner :combineByKey() 会遍历分区中的所有元素，因此每个元素的键要么还没有遇到过，要么就 和之前的某个元素的键相同.如果这是一个新的元素,combineByKey() 会使用一个叫作 createCombiner() 的函数来创建 那个键对应的累加器的初始值. mergeValue: 如果这是一个在处理当前分区之前已经遇到的键， 它会使用 mergeValue() 方法将该键的累加器对应的当前值与这个新的值进行合并 mergeCombiners: 由于每个分区都是独立处理的， 因此对于同一个键可以有多个累加器。如果有两个或者更多的分区都有对应同一个键的累加器， 就需要使用用户提供的 mergeCombiners() 方法将各个分区的结果进行合并

aggregateByKey

在kv对的RDD中，，按key将value进行分组合并，合并时，将每个value和初始值作为seq函数的参数，进行计算，返回的结果作为一个新的kv对，然后再将结果按照key进行合并，最后将每个分组的value传递给combine函数进行计算（先将前两个value进行计算，将返回结果和下一个value传给combine函数，以此类推），将key与计算结果作为一个新的kv对输出.seqOp函数用于在每一个分区中用初始值逐步迭代value，combOp函数用于合并每个分区中的结果.

foldByKey

aggregateByKey的简化操作,seqop和combop相同

sortByKey([ascending],[numTasks])

在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一个按照key进行排序的(K,V)的RDD  对key 进行排序.

mapValues

准对于(K,V)形式的类型只对V进行操作