guo20082200的博客

钱钱钱钱钱钱钱钱钱钱钱 暂时留住坑位

启动spark集群（ 集群配置参考上一篇博客）[root@master ~]# cd /usr/local/apps/spark-2.3.2-bin-hadoop2.7/[root@master spark-2.3.2-bin-hadoop2.7]# ./sbin/start-all.sh启动日志如下：starting org.apache.spark.deploy.master.Mas...

1. RDD基本操作 val rdd1 = sc.parallelize(List(1,2,3,4,4)) 输出结果：rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:24 //这里org.apache.spark.rdd.RDD[Int]，这里R...

1. mapPartitionsWithIndex创建RDD,指定分区数为2scala> val rdd1 = sc.parallelize(List(1,2,3,4,5,6,7),2)查看分区scala> rdd1.partitions– 内容如下：res0: Array[org.apache.spark.Partition] = Array(org.apache....

1. 复习List的操作list操作：val ls1 = List(1)val ls2 = List(2)// 追加一个元素ls1 :+ 2 这个结果为：res15: List[Any] = List(1, 2)// 追加一个集合ls1 ++ ls2 这个结果为：res16: List[Int] = List(1, 2)// 追加一个集合ls1 ::: ls2 这个结果为：res...