Spark基础学习笔记17：掌握RDD算子

已于 2022-05-31 11:57:12 修改
阅读量2.7k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # Spark基础学习笔记（2） 文章标签： 转化算子 行动算子
于 2022-03-12 21:34:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/123449752
本文详细介绍了Spark中的RDD算子，包括转化算子如map、filter、flatMap、reduceByKey等，以及行动算子如reduce、countByKey、take等。通过案例分析，讲解了各种算子的功能、使用方法和实际应用场景，帮助读者深入理解Spark数据处理的核心操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

零、本讲学习目标

  1. 掌握转化算子的使用
  2. 掌握行动算子的使用

一、RDD算子

  • RDD被创建后是只读的，不允许修改。Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转化（Transformation）算子和行动（Action）算子。

二、准备工作

（一）准备文件

1、准备本地系统文件

  • 在/home目录里创建words.txt
    在这里插入图片描述
    在这里插入图片描述

2、把文件上传到HDFS

  • 将words.txt上传到HDFS系统的/park
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark基础学习笔记20：RDD持久化、存储级别与缓存
howard2005的专栏
04-11 2056
持久化、存储级别、查看缓存
Spark基础学习笔记13：创建RDD
qq_56244269的博客
06-13 390
目录一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、上传文件到HDFS（二）启动Spark Shell1、启动Spark服务2、启动Spark Shell三、创建RDD（一）从对象集合创建RDD1、利用parallelize()方法创建RDD2、利用makeRDD()方法创建RDD3、简单说明（二）从外部存储创建RDD1、读取本地系统文件Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient
Spark Rdd算子
weixin_42834505的博客
08-18 413
s（1）创建spark context val conf: SparkConf = new SparkConf().setAppName("transactionRDD").setMaster("local[2]") val sc = new SparkContext(conf) （2）创建rdd：弹性分布式数据集 --使用内存集合创建 创建rdd的方式,不设置分区数，默认分区数是核数：local[num] val rdd1: RDD[Int] = sc.parallelize(List(1, 2, 3,
SparkRDD函数详解
布里啾啾迪布利多的博客
03-12 6951
1、RDD操作详解启动spark-shellspark-shell --master spark://node-1:70771.1 基本转换1)      mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：scala> val a =sc.parallelize(1 to 9, 3)scala&gt...
（3）spark RDD算子详解
qq_41123269的博客
02-24 1665
RDD 算子 其实就是rdd方法，和scala方法区分开来 分为两种 转换算子 和行动算子 转换算子 功能的补充封装 将旧的RDD包装成新的RDD 比如 map flatmap RDD整体上分为Value类型、双Value类型和Key-Value类型 map算子 – Value类型 每次处理一条数据，对数据或数据类型进行转换 def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("lo
Spark常见算子
Icesuns‘s blogs
06-10 277
这里，从源码的角度总结一下Spark RDD算子的用法。 单值型Transformation算子 map /** * Return a new RDD by applying a function to all elements of this RDD. */ def map[U: ClassTag](f: T => U): RDD[U] = withScope { ...
Spark RDD 算子
主要写大数据集群一线运维和学习工作经验
11-16 1100
目录 Basics Passing Functions to Spark 闭包 Example Local vs. cluster modes Printing elements of an RDD-打印RDD中的每个元素 Working with Key-Value Pairs Transformations Actions RDD支持两种类型的操作：transforma...
Spark基础学习笔记14：掌握RDD算子
qq_56244269的博客
06-13 628
目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、把文件上传到HDFS（二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark Shell三、转化算子（一）映射算子 - map()1、映射算子功能2、映射算子案例（二）过滤算子 - filter()1、过滤算子功能2、过滤算子案例（三）扁平映射算子 - flatMap()1、扁平映射算子功能、扁平映射算子案例（四）按键归约算子 - reduceByKey()1、按键归约算子功能2、按键归约算子案例
Spark基础学习笔记：掌握RDD算子
py20010218的博客
06-19 524
Spark基础学习笔记：掌握RDD算子
Spark RDD算子
weixin_47880716的博客
11-06 380
目录parallelizemakeRDDtextFilefiltermapflatMapdistinctunionintersectionsubtractcartesianmapToPairflatMapToPaircombineByKeyreduceByKeyfoldByKeySortByKey parallelize 调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD，这种方式试用于学习spark和做一些spark的测试 scala版本 def paralle
Spark的RDD算子
weixin_43520450的博客
05-10 1111
一、RDD基础 1.1 什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 1.2 RDD的属性（源码中的一段话） （1） 一组分片（Partition），即数据集的基本组成单位。对于RDD来说，
Spark之RDD算子
柳小葱的博客
08-11 2236
今天出一期spark系列的硬货，即RDD算子，所谓算子，就是对某些事物的操作，或者说是方法。本期主要介绍几十个RDD算子，根据他们的特点，逐一进行介绍，有关spark的往期内容大家可以查看下面的内容????: 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之Dataframe基本操作. 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之核心架构. 记得我们前面说过，saprk存在着惰性评估的机制，所谓惰性评估，就是等到绝对需要时才执行计算。当用户表达
spark之RDD算子
BLADCS的博客
04-02 315
RDD spark core主要针对于RDD，RDD（Resilient Distributed Dataset）即弹性分布式数据集。 RDD是spark的基石，是实现spark数据处理的核心抽象。是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可并行计算的集合。 RDD是基于工作集的工作模式，更多的是面向工作流。 RDD支持两种类型的操作：转换（从现有操作创建新的数据集）和动...
spark RDD算子大全
zhaolq1024的博客
09-25 4921
目录 map()&&flatMap() map()&&mapPartitions() mapPartitionsWithIndex() filter() take()&&takeOrdered()&&top()&&first() sample()&&takeSample() union()...
Spark-RDD算子大全
最新发布
YoungITの博客
01-16 1055
Spark RDD（弹性分布式数据集）是Spark中的核心抽象，它代表一个不可变、分区的分布式数据集合。下面是一些常用的RDD算子：map(func)：对RDD中的每个元素应用给定的函数，返回一个新的RDD。filter(func)：对RDD中的每个元素应用给定的函数，返回满足条件的元素组成的新的RDD。flatMap(func)：对RDD中的每个元素应用给定的函数并返回一个迭代器，将所有迭代器的元素组合成一个新的RDD。
SparkRDD算子--distinct算子
寒暄的博客
07-31 1537
语法 val newRdd = oldRdd.distinct([numTasks]) numTasks表示并行度。 源码 def distinct(numPartitions : scala.Int)(implicit ord : scala.Ordering[T] = { /* compiled code */ }) : org.apache.spark.rdd.RDD[T] = { /* compiled code */ } 作用 对源RDD进行去重后返回一个新的RDD。默认情况下，只有8个并行任务
Spark RDD算子详解
weixin_36040866的博客
02-07 3830
RDD转换算子及行动算子详细记录，附idea实操演练 转换算子（Transformation）：功能的补充和封装，将旧的RDD包装成新的RDD（flatMap,map...) 行动算子（Action）：触发任务的调度和作业的执行(collect)
spark_rdd算子介绍
HYSliuliuliu的博客
12-19 7868
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。
Spark之RDD算子总汇
绿萝蔓蔓绕枝生
11-11 573
以下是Spark常用RDD算子，其具体使用方法请点击查看 1、Spark RDD算子之算子的创建 ``parallelize、makeRDD、textFile` 2、Spark RDD算子之函数操作 ``filter、map、flatMap` 3、Spark RDD算子之去重、合并 ``distinct、union、intersection、subtract、cartesian` 4、Spark RDD算子之PairRDD的创建 ``mapToPair、flatMapToPair` 5、Spark RDD算
Scala与Spark深度学习笔记：从基础到SparkSQL
"该资源是关于Spark和Scala的综合学习笔记，涵盖了从基础到进阶的多个主题，包括Scala的开发环境配置、基本语法、集合操作、面向对象编程和函数式编程，以及Spark的环境搭建、算子使用、运行原理、运行模式和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值