spark 基础语法整理

这几天想着整理整理spark的基础语法，适合小白参考，话不多说，直接干活，这篇文章我会持续更新

一、spark打印RDD的值

spark打印RDD或者list的值

val spark = SparkSession.builder().master("local[*]").appName("test").getOrCreate()
val sc:SparkContext = spark.sparkContext
sc.setLogLevel("warn")
val data = sc.parallelize(1 to 10, 3)

//val data = sc.makeRDD(1 to 10,3)
//val data:RDD[String] = sc.textFile("C:\\Users\\admin\\Desktop\\data1.csv")
println("foreach list")
data.collect().foreach(println)
println("foreach RDD")
data.foreach(print)

二、collect算子的作用 （上面我们已经用过了）

Spark RDD collect与collectPartitions

1.collect的作用    

Spark内有co