RDD的创建

RDD可以从现有的集合创建：

scala> val col = List("a","b","c","d")
col: List[String] = List(a, b, c, d)

scala> val rdd1 = col.pa
padTo       par         partition   patch       

scala> val rdd1 = sc.parallelize(col)
rdd1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[0] at parallelize at <console>:23

scala> rdd1.first()
15/10/18 21:03:00 WARN SizeEstimator: Failed to check whether UseCompressedOops is set; assuming yes
res0: String = a

scala> rdd1.take
take          takeOrdered   takeSample    

scala> rdd1.take(3)
res1: Array[String] = Array(a, b, c)

另外RDD可以从HDFS，本地文件系统创建，基于Hadoop的RDD可以使用任何实现了Hadoop InpuFormat接口的输入格式，包括文本文件，其他Hadoop标准格式，HBase等。

从本地文件系统创建RDD:
scala> val rdd2 = sc.textFile("/home/caiyong/桌面/test8")
rdd2: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[2] at textFile at <console>:21