Spark基础学习笔记：掌握RDD算子

最新推荐文章于 2023-05-04 09:10:41 发布
最新推荐文章于 2023-05-04 09:10:41 发布
阅读量553 收藏 3
点赞数
CC 4.0 BY-SA版权
文章标签： spark 学习 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/py20010218/article/details/125360622
本文深入介绍了Spark中的RDD算子，包括转化算子如map、filter和flatMap，以及按键归约算子reduceByKey。通过实例展示了如何使用这些算子进行数据处理，如翻倍元素、过滤偶数、统计单词数量和计算学生总分等。此外，还涵盖了在SparkShell和IDEA中执行Spark任务的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、RDD算子

RDD被创建后是只读的，不允许修改。Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转化（Transformation）算子和行动（Action）算子

二、准备工作

（一）准备文件

1、准备本地系统文件

在/home目录里创建wprds.txt
在这里插入图片描述
在这里插入图片描述

2、把文件上传到HDFS

将words.txt上传到HDFS系统的/park目录里

在这里插入图片描述
说明：/park是在上一讲我们创建的目录
查看文件内容
在这里插入图片描述

（二）启动Spark Shell

1、启动HDFS服务

执行命令：start-dfs.sh
在这里插入图片描述
如果采用的是Spark on YARN集群或者Spark HA集群，那么还得启动YARN服务
在这里插入图片描述

2、启动Spark服务

进入Spark的sbin目录执行命令：./start-all.sh
在这里插入图片描述

3、启动Spark Shell

执行名命令： spark-shell --master spark://master:7077
在这里插入图片描述

三、转化算子

（一）映射算子 - map()

1、映射算子功能

map()是一种转化算子，它接收一个函数作为参数，并把这个函数应用于RDD的每个元素，最后将函数的返回结果作为结果RDD中对应元素的值。

2、映射算子案例

预备工作：创建一个RDD - rdd1
执行命令：val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6))
在这里插入图片描述

任务1、将rdd1每个元素翻倍得到rdd2

对rdd1应用map()算子，将rdd1中的每个元素平方并返回一个名为rdd2的新RDD

在这里插入图片描述
上述代码中，向算子map()传入了一个函数x = > x * 2。其中，x为函数的参数名称，也可以使用其他字符，例如a => a * 2。Spark会将RDD中的每个元素传入该函数的参数中。
其实，利用神奇占位符_可以写得更简洁

最低0.47元/天 解锁文章

200万优质内容无限畅学
潘潘.tel
关注
Spark基础学习笔记17：掌握RDD算子
howard2005的专栏
03-12 2729
RDD转化算子、RDD行动算子
Spark基础学习笔记20：RDD持久化、存储级别与缓存
howard2005的专栏
04-11 2065
持久化、存储级别、查看缓存
Spark算子使用示例
热门推荐
梓纾的专栏
11-05 1万+
1. 算子分类从大方向来说，Spark 算子大致可以分为以下两类 Transformation：操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 Action：会触发 Spark 提交作业（Job），并将数据输出 Spark系统。 从小方向来说，Spark 算子大致可以分为以下三类: Value数据类型的T
spark学习-----Spark 算子
Kayleigh520的博客
03-25 2280
学习之前先介绍一下什么是spark Spark 是基于内存计算的大数据并行计算框架，因为它基于内存计算，所以提高了 在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将 Spark 部署在大量廉价硬件之上，形成集群。 RDD 介绍RDD 概念 RDD(Resilient Distributed Dataset) 弹性分布式数据集 ， 是 Spark 中最基本的数据对象，它代表一个不可变，可区，里面 的元素可并行计算的集合。这里虽然是集合但是里面却没有数据。 特点 自动容错性 .
Spark RDD&算子 基本操作
BangLiSang的博客
04-15 660
1.RDD Spark提供了两种创建RDD的方式： （1）由一个已经存在的Scala集合进行创建。 （2）由外部存储系统的数据集创建，包括本地的文件系统，还有所有Hadoop支持的数据集，比如HDFS、Cassandra、HBase等。 1.1读取文件 textFile() val rdd = sc.textFile("/home/student.txt")//文件路径 1.2集合创建RDD Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。相当于是，集合中的部分数据
5.6 Spark算子
weixin_46561163的博客
01-02 2259
第一关 map 案例 sc = SparkContext("local", "Simple App") data = [1,2,3,4,5,6] rdd = sc.parallelize(data) print(rdd.collect()) rdd_map = rdd.map(lambda x: x * 2) print(rdd_map.collect()) 输出： [1, 2, 3, 4, 5, 6] [2, 4, 6, 8, 10, 12] 编程要求 ...
Spark Core学习笔记4：transformation操作实例
一壶清茶的专栏
03-30 233
常用transformation操作 map：将RDD中的每个元素传入自定义函数，获取一个新的元素，并将新的元素组成新的RDD filter：对RDD中每个元素进行判断，如果返回true则保留，如果返回false则剔除。 flatMap：与map类似，但对每个元素都可以返回一个或多个新元素 groupByKey：根据key进行分组，每个key对应一个Iterable reduceByKey：对每个key对应的value进行reduce操作 sortByKey：对每个key对应的value进行排序操作 jo
Spark基础学习笔记14：掌握RDD算子
qq_56244269的博客
06-13 649
目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、把文件上传到HDFS（二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark Shell三、转化算子（一）映射算子 - map()1、映射算子功能2、映射算子案例（二）过滤算子 - filter()1、过滤算子功能2、过滤算子案例（三）扁平映射算子 - flatMap()1、扁平映射算子功能、扁平映射算子案例（四）按键归约算子 - reduceByKey()1、按键归约算子功能2、按键归约算子案例
Spark大数据处理学习笔记3.2 掌握RDD算子
qq_62847100的博客
05-04 1546
上面这个映射写成函数： f ( x ) = 2 x , x ∈ R f(x)=2x,x\in \Bbb R f(x)=2x,x∈R。一个数组中存放了三个元组，将该数组转为RDD集合，然后对该RDD按照每个元素中的第二个值进行降序排列。，不是一元函数，而是二元函数，系统立马就蒙逼了，不晓得该怎么取两个参数来进行乘法运算。中的x代表rdd1中的每个元素。因为RDD的元素为分布式的，数据可能分布在不同的节点上。Spark会将RDD中的每个元素传入该函数的参数中。上述代码中，向算子map()传入了一个函数。
判断整数为奇偶数
星火孤明城
05-30 779
package cn.duxin.demo; import java.util.Scanner; public class Test0{ public static void main(String[] args) { Scanner sca = new Scanner(System.in); System.out.println("输入一个整数:"); int intValue =
幂函数、函数与方程、方程与零点.pdf
09-30
幂函数、函数与方程、方程与零点.pdf
Spark基础学习笔记12：Scala内建控制结构
howard2005的专栏
03-06 1692
1. 掌握条件表达式 2. 掌握各种循环 4. 理解流间变量绑定 5. 掌握yield语句的使用 6. 掌握异常处理语句 7. 了解match语句的使用 8. 理解变量作用域
一文学完Spark常用算子（Spark算子大全）
笑看风云路的博客
07-08 8929
Spark RDD的算子分为转换算子（Transformation）和行动算子（Action）。转换算子分为：Value类型、双Value类型和K-V类型。将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换...............
Spark-核心数据集RDD（六）
weixin_45025143的博客
11-29 1163
SparkCore-核心数据集RDD   今天真是美好的一天啊，那我们开始吧，我们今天讲一下RDD，为什么要将RDD了，先说一下我，作为一枚标准的理工男，如果没有彻底弄明白一个东西，就去实操，那肯定是一脸懵逼的，即使瞎一道题目猫碰上死耗子，暂时有了正确结果，但是题目文件类型一变，那又将是懵逼树上懵逼果，懵逼树下你和我。还记得高中化学，1mol水分子=2mol氢原子+1mol氧原子,没有弄明白mol的我，为什么2+1=1？？？   好吧 就这样。因为初步我们的数据集都将是一个一个的RDD（这里我的理解是R.
判断年份是否为闰年
qq_50696533的博客
04-13 1239
用 if 分支语句判断用户输入的年份是否为闰年 闰年的判定方法： 　 1：能被4整除而不能被100整除。 　　2：能被400整除 year = int(input("输入一个年份: ")) if (year % 4) == 0: if (year % 100) == 0: if (year % 400) == 0: print("{} 是闰年".format(year)) # 整百年能被400整除的是闰年 else: ..
Spark基础之：常用算子逐一详解
weixin_43542605的博客
01-09 6066
Spark常用算子逐一详解 一、什么是Spark rdd算子 二、算子的分类 三、常用的Transformation算子及使用方法 四、常用的Action算子及使用方法 五、关于rdd算子的常见问题汇总
spark—算子详解
weixin_44604159的博客
09-21 2111
介绍算子和闭包检测功能
Spark学习（二）——spark原理及优化
livan1234的博客
09-18 1260
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata
Spark的算子的分类
kgars1的博客
10-16 1937
从大方向来说，Spark 算子大致可以分为以下两类:      1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 　　　Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。      2）Action 行动算子：
Scala与Spark深度学习笔记：从基础到SparkSQL
"该资源是关于Spark和Scala的综合学习笔记，涵盖了从基础到进阶的多个主题，包括Scala的开发环境配置、基本语法、集合操作、面向对象编程和函数式编程，以及Spark的环境搭建、算子使用、运行原理、运行模式和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值