DoveYoung欢迎大家指正！

一、读取    1、textFile()  读取外部数据源    2、 map() 遍历每条数据处理    3、mapvalues(_+10) 传入一个函数，类似于map方法，不过这里只是对元组中的value进行计算    4、keys values    val rdd1 = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther"...

1、RDD提供了两种类型的操作：transformation和action所有的transformation都是采用的懒策略，如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。1）transformation操作：得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDDmap(func):对调用map的RDD数据集中的每个...

1. 下载软件包*Master#cd /usr/local  //进入/usr/local 目录wget http://mirrors.shu.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgztar zxvf spark-2.3.0-bin-hadoop2.7.tgzwget https://downloads.lightb...