Spark大数据处理学习笔记(3.1)掌握RDD的创建

本文详细介绍了如何在Spark中创建RDD,包括通过并行集合和外部存储创建。通过实例演示了parallelize()和makeRDD()方法的使用,以及从本地文件系统和HDFS加载数据创建RDD的步骤。同时,讨论了在不同模式下Spark Shell读取文件的注意事项,如集群模式和本地模式下的路径问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

文章目录

一、准备工作
1.1 准备文件
1.1.1 准备本地系统文件
在/home目录里创建test.txt

单词用空格分隔

1.1.2 启动HDFS服务
执行命令:start-dfs.sh

1.1.3 上传文件到HDFS
将test.txt上传到HDFS的/park目录里

查看文件内容

1.2 启动Spark Shell
1.2.1 启动Spark服务
执行命令:start-all.sh

1.2.2 启动Spark Shell
执行命令:spark-shell(既可以读取本地文件,也可以读取HDFS文件)

查看Spark Shell的WebUI界面

查看执行器

二、创建RDD
2.1 通过并行集合创建RDD
Spark可以通过并行集合创建RDD。即从一个已经存在的集合、数组上,通过SparkContext对象调用parallelize()或makeRDD()方法创建RDD。
2.1.1 利用parallelize()方法创建RDD
执行命令:val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8))

执行命令:val rdd = sc.parallelize(Array(100, 300, 200, 600, 500, 900))

说明:不能基于Map、Tuple和Set来创建RDD
2.1.2 利用makeRDD()方法创建RDD
执行命令:val rdd = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 7, 8))

执行命令:rdd.collect(),收集rdd数据进行显示

思考题ÿ

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值