Ubuntu的SPARK安装与应用

一、安装

1.将spark安装包使用sftp从本地上传到虚拟机的spark文件夹中去

 

在虚拟机对应的文件夹下ls一下，确认有没有传过去

解压到原目录，输入语句tar -xvf 压缩包名字，ls一下，查看解压后的文件夹，我这里的spark-3.3.2-bin-hadoop2文件夹就是解压完成的文件夹。

 修改文件夹名字：

 

配置环境变量，输入vim /etc/profile，键入i进入编辑模式,添加如下两行

配置完成后esc退出编辑模式，然后输入：wq退出配置，输入source /etc/profile保存并运行配置结果

 进入hadoop/sbin目录，启动spark，出现这样的结果就是启动成功

2.接下来开始RDD编程

(1)RDD创建

从本地加载数据创建RDD

通过并行集合创建RDD

RDD操作

转换操作

 filter(func)：筛选出满足函数func的元素，并返回一个新的数据集

map(func)操作将每个元素传递到函数func中，并将结果返回为一个新的数据集

 

 map(func)

 flatMap(func)

3.行动操作

持久化操作