Spark学习:spark相似算子解析

已于 2023-05-04 16:38:25 修改
阅读量388 收藏
点赞数
分类专栏： Spark 文章标签： spark 学习 大数据
于 2023-02-27 20:23:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nzbing/article/details/129249128
版权
本文深入探讨Spark中的关键算子，包括Map、Flatmap、MapPartition、repartition与coalesce的分区策略，reduceByKey与groupByKey的聚合操作，以及collect、take和first等数据收集方法。同时，对比分析了repartitionAndSortWithinPartitions与repartition、sort的效率和数据倾斜问题，强调了repartitionAndSortWithinPartitions在减少网络传输和提高可读性上的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark算子

一、Map、Flatmap和MapPartition

算子 作用
map 接收一个高阶函数f,对每个算子进行f操作
flatmap 接收一个高阶函数f,对每个元素进行f操作,形成一个大的集合,然后在迭代器返回每个元素
mapPartitions map()是每次处理一条数据,mappartitions是每次处理一个分区中的数据,由于是遍历分区,减少了发送到执行器的交互次数,效率优于map(),但执行器内存不足可能会造成OOM(),因此内存空间较大的时候建议用mappartitions

二、repartition和coalesce

算子 作用
repartition 调增rdd的并行度,会引入shuffle
coalesce 只能降低rdd并行度,不会引入shuffle

两个都是重分区算子

  • 给定任意一条数据记录,repartition的计算过程都是先哈希再取模,得到的便是该条数据的目标分区索引。对
了解本专栏 订阅专栏 解锁全文 超级会员免费看
sparksql-分组月度环比同比自动化
weixin_49319918的博客
06-17 1152
有一个需求是按月份统计环比和同比值,每次都取一遍非常麻烦,同时也容易出错,这里我把要取的数据报表化,这里提供一个模板,这个SQL写了我好久,经过对比数据发现,这样写是没什么问题的,这里提供一些注意事项 同比环比的定义 月份同比计算 (2021-01 - 2020-01) / 2020-01 月份环比计算 (2021-02 - 2021-01) / 2021-01 在计算同比的时候要注意order by要对月份和年份都要排序,原因是lead 中的order by只指定了一个排序规则,这里都要指定,
Spark3 新特性之AQE
Shyllin的博客
02-24 4386
Spark3 新特性之AQE
spark数据处理示例一：分类
jediael_lu的专栏
08-05 5567
spark数据处理示例一：分类@(SPARK)[spark, ML]spark数据处理示例一分类 知识点 1slice 2NaN 3mapValue 4groupBy 5state 6isNaN 7scala的range结构 一REPL测试 1数据准备 2启动spark 3读入数据并简单验证读入情况 4去除标题行 5提取行中的信息 1定义缺失值的处理 2提取行中的字段 3以case类对象的形式返回分
【SQL】Hive/Spark SQL 环比/同比日期/周期汇总
PersephoneSu
10-10 4178
当天 ‘${zdt.format(“yyyy-MM-dd”)}’ 昨天 ‘${zdt.addDay(-1).format(‘yyyy-MM-dd’)}’ 前30天 ‘${zdt.addDay(-30).format(‘yyyy-MM-dd’)}’ 本周-上周四至本周三 between date_sub(’${zdt.format(“yyyy-MM-dd”)}’,’${zdt.format(“u”)}’+3) and date_sub(’${zdt.format(“yyyy-MM-dd”)}’,’${zdt.
Spark - 简介
weixin_43364172的博客
06-23 198
简介 跨不同的workloads和platforms，是统一的分布式计算引擎。它使用各种范式（paradigms，比如Spark streaming, Spark ML, Spark SQL, and Spark GraphX），可以连接不同的platforms，处理不同的数据workloads。 fast in-memory data processing engine。 由core和库组成。 ...
Spark RDD 常用算子实例解析
我玩的很开心的博客
08-05 2128
Spark RDD 常用算子解析一、转换算子 Transformation（lazy）二、动作算子 Actions（non-lazy） 一、转换算子 Transformation（lazy） 二、动作算子 Actions（non-lazy） 对于转换操作，RDD的所有转换都不会直接计算结果。 Spark仅记录作用于RDD上的转换操作逻辑，当遇到动作算子（ Action）时才会进行真正计算。 RDD常见转换算子如下表： ...
Spark SQL: Relational Data Processing in Spark
fansy1990的专栏
04-07 2780
Spark SQL： Relational Data Processing in Spark Spark SQL : Spark中关系型处理模块 说明: 类似这样的说明并非是原作者的内容翻译，而是本篇翻译作者的理解（可以理解为批准），所以难免有误，特注！ 当然翻译也可能有误！ Date Contents 2019.03.12 First Edition 2019.04....
Spark常用算子详细解析
weixin_50227709的博客
03-15 474
在 Spark RDD 的编程模型中，算子（Operator）分为（转换）和（行动）两大类。代表对 RDD 进行转换并返回新的 RDD（惰性执行），则会触发实际作业执行并返回结果（或写出到外部存储）。下面列举 Spark RDD 常用的算子，并给出简要示例及说明。
spark编程基础(算子详解)
lb634774742的博客
12-27 1430
包括spark的简介、安装启动等基本介绍 对RDD及相关概念的解析 对Transformation算子和action算子的详细介绍
Spark MLlib数据挖掘1--Spark MLlib概述和spark算子
qiaoqiaomanman的博客
04-02 1154
Spark MLlib数据挖掘 一、Spark MLlib概述 MLlib是Spark的机器学习（Machine Learning）库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。 MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API。 1.Spark MLlib算法库 Spark Mllib能够提供所有类型的机器学...
Spark-内核源码解析.docx
12-05
Spark 内核源码解析 Spark 是一个大规模数据处理框架，它的核心原理和架构组件对开发者和研究人员来说非常重要。为了深入了解 Spark 的内部机制，我们需要对其内核源码进行深入分析。 Application/App 在 Spark ...
spark Java 数据合并的算子（union ，intersection subtract cartesian ）
zahuali的博客
05-14 890
spark中的常用算子 以图中为例 以下以代码展示 distinct 算子 去重 ArrayList<Integer> list = new ArrayList<Integer>(); list.add(1); list.add(2); list.add(3); list.add(4); list.add(3); JavaRDD<Integer> paralleliz
spark-core编程
2502_90677941的博客
04-10 636
从 shuffle 的角度：reduceByKey 和 groupByKey 都存在 shuffle 的操作，但是 reduceByKey可以在 shuffle 前对分区内相同 key 的数据进行预聚合（combine）功能，这样会减少落盘的数据量，而 groupByKey 只是进行分组，不存在数据量减少的问题，reduceByKey 性能比较高。3. reduceByKey ：对相同Key的Value进行聚合 ，相比 groupByKey ，在shuffle前可预聚合，性能更优。
spark-core编程2
最新发布
2401_84627304的博客
04-11 675
当分区内计算规则和分区间计算规则相同时，aggregateByKey 就可以简化为 foldByKey。
2.2.3 Spark Standalone集群
howard2005的专栏
04-10 408
搭建Spark Standalone集群需要完成多个步骤。首先，配置主机名、IP地址映射、关闭防火墙和SeLinux，并设置免密登录。接着，配置JDK和Hadoop环境，并在所有节点上分发配置。然后，下载并安装Spark，配置环境变量和`spark-env.sh`文件，编辑`workers`文件以包含所有工作节点。之后，将Spark分发到所有从节点并使配置生效。启动HDFS和Spark服务后，可以通过Web UI访问集群状态。
结合 Flink/Spark 进行 AI 大数据处理（实时数据 + AI 推理的应用场景）
晴天彩虹雨的博客
04-07 457
将 Flink/Spark 与 AI 推理服务结合，打造“流式+智能”的系统，是迈向智能化数仓的重要一步。在实际项目中，我们推荐：小规模场景先用 Spark + Batch + 模型 API 快速落地对实时性要求高的使用 Kafka + Flink + 模型微服务架构模型部署优先选择 vLLM / ChatGLM / DeepSeek 等国产适配良好的方案配合 DolphinScheduler 实现调度闭环与可视化平台管理。
spark core编程之行动算子、累加器、广播变量
2401_85482551的博客
04-11 547
Executor 端的每个 Task 都会得到这个变量的一份新的副本，每个 task 更新这些副本的值后，传回 Driver 端进行 merge。aggregate：分区数据通过初始值和分区内数据聚合，再和初始值进行分区间聚合。reduce：聚集 RDD 所有元素，先聚合分区内数据，再聚合分区间数据。takeOrdered：返回 RDD 排序后的前 n 个元素组成的数组。take：返回 RDD 前 n 个元素组成的数组。first：返回 RDD 中第一个元素。count：返回 RDD 中元素个数。
spark（二）
2401_82413059的博客
04-10 528
示例：现有数据 List(("a", 88), ("b", 95), ("a", 91), ("b", 93), ("a", 95), ("b", 98))，求每个key的总值及每个key对应键值对的个数。本节课接上节课继续对于RDD进行学习，首先是对于创建RDD的不同方式，接着学习了RDD的三种转换算子：Value类型、双Value类型、Key-Value类型，以及各个转换算子的不同使用方式。以源 RDD 元素为主，去除两个 RDD 中的重复元素，保留源 RDD 的其他元素。
Spark Core(2)
2302_82289522的博客
04-11 742
Executor 端的每个 Task 都会得到这个变量的一份新的副本，每个 task 更新这些副本的值后，传回 Driver 端进行 merge。在类型为(K,V)和(K,W)的 RDD 上调用，返回一个(K,(Iterable<V>,Iterable<W>))类型的 RDD。在一个(K,V)的 RDD 上调用，K 必须实现 Ordered 接口(特质)，返回一个按照 key 进行排序。在类型为(K,V)和(K,W)的 RDD 上调用，返回一个相同 key 对应的所有元素连接在一起的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值