文章目录
一、准备工作
1.1 准备文件
1.1.1 准备本地系统文件
在/home目录里创建test.txt
单词用空格分隔
1.1.2 启动HDFS服务
执行命令:start-dfs.sh
1.1.3 上传文件到HDFS
将test.txt上传到HDFS的/park目录里
查看文件内容
1.2 启动Spark Shell
1.2.1 启动Spark服务
执行命令:start-all.sh
1.2.2 启动Spark Shell
执行命令:spark-shell(既可以读取本地文件,也可以读取HDFS文件)
查看Spark Shell的WebUI界面
查看执行器
二、创建RDD
2.1 通过并行集合创建RDD
Spark可以通过并行集合创建RDD。即从一个已经存在的集合、数组上,通过SparkContext对象调用parallelize()或makeRDD()方法创建RDD。
2.1.1 利用parallelize()方法创建RDD
执行命令:val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8))
执行命令:val rdd = sc.parallelize(Array(100, 300, 200, 600, 500, 900))
说明:不能基于Map、Tuple和Set来创建RDD
2.1.2 利用makeRDD()方法创建RDD
执行命令:val rdd = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 7, 8))
执行命令:rdd.collect(),收集rdd数据进行显示
思考题ÿ