Spark基础学习笔记18：掌握RDD分区

已于 2022-03-30 18:42:35 修改
阅读量1.8k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # Spark基础学习笔记（2） 文章标签： 分区数量 自定义分区器
于 2022-03-30 18:36:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/123845558
本文详细介绍了Spark中的RDD分区，包括分区原则、影响分区的因素，如parallelize()和textFile()方法创建RDD时的分区数量。深入讲解了Spark的Partitioner抽象类以及默认的HashPartitioner，探讨了自定义分区器的创建和使用，以解决特定场景下分区需求的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

零、本讲学习目标

  1. 学会如何指定分区数量
  2. 会定义与使用自定义分区器

一、RRD分区

  • RDD是一个大的数据集合，该集合被划分成多个子集合分布到了不同的节点上，而每一个子集合就称为分区（Partition）。因此，也可以说，RDD是由若干个分区组成的。
    在这里插入图片描述

二、RDD分区数量

（一）RDD分区原则

  • RDD各个分区中的数据可以并行计算，因此分区的数量决定了并行计算的粒度。Spark会给每一个分区分配一个单独的Task任务对其进行计算，因此并行Task的数量是由分区的数量决定的。RDD分区的一个分区原则是使得分区的数量尽量等于集群中CPU核心数量。

（二）影响分区的因素

  • RDD的创建有两种方式：一种是使用parallelize()方法从对象集合创建；另一种是使用textFile()方法从外部存储系统创建。而RDD分区的数量与RDD的创建方式以及Spark集群的运行模式有关。

（三）使用parallelize()方

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark基础学习笔记20：RDD持久化、存储级别与缓存
howard2005的专栏
04-11 2057
持久化、存储级别、查看缓存
Spark基础学习笔记16：创建RDD
howard2005的专栏
03-11 2573
RDD概念，创建RDD
大数据实时处理 3.3 掌握RDD分区
saddwe的博客
06-09 361
在分布式程序中，网络通信的开销是很大的，因此控制数据分布以获得最少的网络传输可以极大的提升程序的整体性能，Spark程序可以通过控制RDD分区方式来减少通信开销。Spark会给每一个分区分配一个单独的Task任务对其进行计算，因此并行Task的数量是由分区的数量决定的。如果是本地模式，默认分区数量就等于本机CPU核心总数，这样每个CPU核心处理一个分区的计算任务，可以最大程度发挥CPU的性能。第1个分区完成了3个元素的映射，第2个分区完成了3个元素的映射，第3个分区完成了4个元素的映射。
SparkCore-键值对RDD数据分区器
星星的博客
11-20 8451
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数 注意： (1)只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD分区器的值是None(2)每个RDD的分区ID范围：0~numPa...
关于RDD分区（一）
xingchaojun的专栏
07-19 4022
RDD是弹性分布式数据集，通常RDD很大，会被分成很多个分区，分别保存在不同的节点上，作用有二：增加并行度和减少通信开销（连接操作），例如下图： RDD分区原则： RDD分区的一个原则是使得分区的个数尽量等于集群中的CPU核心（core）数目 对于不同的Spark部署模式而言（本地模式、Standalone模式、YARN模式、Mesos模式），都可以通过设置spark.default.pa...
RDD的分区、依赖关系、机制
m0_57781407的博客
08-17 2578
RDD的分区原则是分区的个数尽量等于集群中的CPU核心(Core)数目。各种模式下的默认分区数目如下(1) Local模式:默认为本地机器的CPU数目,若设置了local[N].则默认为N.(2) Standalone或者Yarn模式:在“集群中所有CPU核数总和"和“2”这两者中取较大值作为默认值。(3) Mesos 模式:默认的分区数是8.Spark框架为RDD提供了两种分区方式，分别是哈希分区(HashPartitioner)和范围分区(RangePartitioner)。Spark也支持自定义分区方
RDD分区详解
qq_37023928的博客
08-22 1489
参考资料：尚硅谷大数据 一、RDD分区数 RDD的分区数量和RDD的两种创建方式有关。 1.1通过集合创建RDD的方式 val conf: SparkConf = new SparkConf().setAppName("PartitionsDemo02").setMaster("local[*]") val sc: SparkContext = new SparkContext(conf) val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4,5))
Spark基础学习笔记13：创建RDD
qq_56244269的博客
06-13 393
目录一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、上传文件到HDFS（二）启动Spark Shell1、启动Spark服务2、启动Spark Shell三、创建RDD（一）从对象集合创建RDD1、利用parallelize()方法创建RDD2、利用makeRDD()方法创建RDD3、简单说明（二）从外部存储创建RDD1、读取本地系统文件Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient
Spark学习笔记10:创建RDD
balabalalibala的博客
05-17 1769
目录 一、什么是RDD （一）RDD概念 （二）RDD示例 （三）RDD主要特征 二、做好准备工作 （一）准备文件 1、准备本地系统文件 2、启动HDFS服务 3、准备HDFS系统文件 （二）启动SparkShell 1、启动Spark服务 2、启动Spark Shell 三、创建RDD （一）从对象集合创建RDD 1、利用parallelize()方法创建RDD 2、利用makeRDD()方法创建RDD 3、总结说明 （二）从外部存储创建RDD 1、读取......
Spark基础学习笔记19：RDD的依赖与Stage划分
howard2005的专栏
04-02 2727
宽依赖和窄依赖、Stage划分
判断RDD有多少个分区
sdujava2011
01-28 7745
为了调优和故障排查，经常有必要知道RDD中有多少个Partition。有如下几个方式可以找到这些信息： 使用Spark web UI查看任务执行和分区情况 当一个stage执行的时候，你可以在Spark UI中查看一个指定stage的分区个数。例如，下面的代码创建了一个有100个元素，4个分区的RDD。然后在将元素收集回driver程序前做了一个虚拟的map任务： scala> val so
RDD基础学习-[2]RDD分区
hjw199089的博客
12-05 549
简介[1]coalesce:对RDD重新分区def coalesce(numPartitions : scala.Int, shuffle : scala.Boolean = { /* compiledcode */ })(implicit ord : scala.Ordering[T] (1)若减少分区,直接设置新的分区数即可 (2)若增加分区个数,设置shuffle = true 应用:
Spark(二) RDD
weixin_38527856的博客
10-28 258
Transformation：只记录要进行的运算，但不会真正进行运算–惰性机制 1. filter(func)：筛选出满足函数func的元素，并返回新的数据集-lines.filter(line->line.contains('A')) 2. map(func):将每个元素传递到函数func中，并将结果返回作为一个新的数据集，rdd2=rdd1.map(x=>x+10) 3. flatmap(func)：与map()相似，但每个输入元素都可以映射到0或多个输出结果 4. reduceByKe.
[ Spark ] RDD创建.分区与并行度.分区策略
jason_bone_的博客
06-14 418
底层代码中,makeRDD方法其实就是parallelize方法任务的并行度由分区数决定,但是实际生产时,如果可用核数不足,并行会演变为并发1)makeRDD方法的第二个参数直接传入分区的数量2)如果没有传入第二个参数,使用默认值:defaultParallelism(默认并行度)​ 该值大小为scheduler.conf.getInt(“spark.default.parallelism”, totalCores),即从该对象中获得某一特定值,否则使用totalCores(当前环境的最大核数)3)手动指定
scala RDD的并行度 & 分区
weixin_44342318的博客
04-16 360
RDD的并行度 & 分区
Spark RDD分区知识总结
thu16kevin的博客
05-25 947
Spark RDD分区知识总结 1. RDD 1.1 RDD定义 RDD(Resilient Distributed Dataset)——弹性分布式数据集，是Spark中最基本的数据抽象 不可变（只读） 分区 自动容错 位置感知调度 可伸缩 1.2 RDD属性 （1）一组分区（Partition），即数据集的基本组成单位。对于RDD来说，每个分区都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Co
Spark大数据处理学习笔记3.3 掌握RDD分区
qq_62847100的博客
05-08 531
在有些情况下，使用Spark自带的分区器满足不了特定的需求。例如，某学生有以下3科成绩数据：科目成绩chinese98math88english96chinese89math96english67chinese88math78english89现需要将每一科成绩单独分配到一个分区中，然后将3科成绩输出到HDFS的指定目录（每个分区对应一个结果文件），此时就需要对数据进行自定义分区。在net.zhj.rdd.day04中创建SubjectPartitioner类/**
RDD 分区数的设置、访问 spark web界面，查看任务运行状态
赤兔胭脂小吕布的博客
03-07 808
目录RDD 分区数的设置访问 spark web界面，查看任务运行状态RDD 分区数的设置 package com.shujia.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo2Partition { def main(args: Arr...
RDD的分区
feizuiku0116的博客
11-15 2283
一、RDD分区数 分区是一个偏物理层的概念，也是RDD并行计算的单位 数据在RDD内部被切分为多个子集合，每个子集合可以被认为是一个分区，运算逻辑最小会被应用在每一个分区上，每个分区是由一个单独的任务来运行的，所以分区数越多，整个应用的并行度也会越高 获取RDD分区数目方式：pyspark.RDD.getNumPartitions 二、RDD分区的数据决定因素 RDD分区的原则是使得分区的个数尽量等于集群中的CPU核心（core）数目，这样可以充分利用CPU的计算资源； 在实际中为了更加充分的压榨CP
Spark学习笔记：RDD和共享变量介绍
Spark提供的主要抽象是RDD，它是跨群集节点分区的元素集合，可以并行操作。用户可以通过从Hadoop文件系统或驱动程序中现有的集合来创建RDD，并对其进行转换。另外，用户还可以要求Spark将RDD保存在内存中，以便在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值