如何统计当前Spark程序有多少分区？

最新推荐文章于 2024-07-09 07:15:00 发布
原创 最新推荐文章于 2024-07-09 07:15:00 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark #分区数 #计算分区

本文深入解析了Spark在处理不同数据源时的默认分区策略。详细介绍了从集合、HDFS及本地数据创建RDD时，Spark如何根据资源、文件大小及默认设置来确定分区数量。对于HDFS数据，分区数量由文件大小除以默认的block大小决定；而对于本地数据，则按不同的规则进行计算。

前言

旁边小伙问：我现在本地有个529.24MB的文件，那么这个默认的有多少个分区数？
我：…那个…如果数据来源于HDFS，那么block数量默认对应split数据同时对应partitons的数量，而block块的大小默认为128MB，所以529.24/128（4.13）也就是有5个分区
小伙：这个我知道，现在数据在本地不是HDFS
我：…这个得测试一下

如何获取分区数

（1）获取默认分区数

spark.sparkContext.defaultParallelism

（2）获取所有分区数

rdd.getNumPartitions

rdd.partitions.length

三种数据来源分别计算分区数量

  • 从集合创建
spark.sparkContext.parallelize(List(1, 2, 3)).getNumPartitions

分区数量为：该程序分配到资源的CPU的核数

  • HDFS数据
spark.sparkContext.textFile("hdfs_path").getNumPartitions

分区数量为：文件大小（M为单位）/ 128（有余数要进一）

  • 本地数据
spark.sparkContext.textFile("local_path").getNumPartitions

分区数量为：文件大小（M为单位）/ 32（有余数要进一）

不过最小为2个分区。 这个是我测试出来的

Spark获取当前分区的partitionId
主要分享大数据相关的知识，如Spark、Hudi
07-06 8886
本文讲解Spark如何获取当前分区的partitionId，这是一位群友提出的问题，其实只要通过TaskContext.get.partitionId（我是在官网上看到的），下面给出一些示例。
Spark RDD 并行度与分区策略剖析 | 源码探索
最新发布
石榴姐yyds
10-09 857
从makeRDD的源码可以看出makeRDD底层调用的是parallelize(seq, numSlices)，也就是说makeRDD是对parallelize的封装。默认情况下，Spark可以将一个作业切分多个任务后，发送给Executor节点并行计算，而分区数我们称之为并行度，并行度等于task总数，但task数并不等于某一时刻可以同时并行计算的任务数。指标体系该如何维护？读取文件数据时，数据是按照Hadoop文件读取的规则进行切片分区，而切片规则和数据读取的规则有些差异，具体Spark核心源码如下。
Spark查看每个分区的数据
ks_1998的博客
03-30 3265
Spark查看每个分区的数据
spark03-读取文件数据分区数量个数原理
oracle8090的博客
02-13 1119
spark 读取文件 产生分区原理
scala spark dataframe和rdd 获取分区个数及每个分区的内容
helloxiaozhe的博客
12-27 5601
1 dataframe获取分区个数 scala> // 构造测试数据源 scala> val df = spark.sparkContext.makeRDD(1.to(100), 4).toDF("id") df: org.apache.spark.sql.DataFrame = [id: int] scala> // 获取分区个数 scala> val partition_num=df.rdd.partitions.length partition_num: Int =
（转）spark查看DF的partition数目及每个partition中的数据量【集群模式】
小蚯蚓的博客
09-18 1918
println("--------------------"+data.rdd.getNumPartitions) // 获取DF中partition的数目 val partitions = data.rdd.glom().collect() // 获取所有data下所有的partition，返回一个partition的集合 for(part <- partitions){ println(part.getClass.getName + "::::::::" + part.length) ...
Spark分区数计算
初心江湖路的博客
05-08 2938
一、对于Hadoop数据源 Spark支持所有hadoop I/O格式，因为它使用相同的Hadoop InputFoarmat API以及Spark自有的其它格式化程序。因此，在默认情况下，Spark的输入分区和Hadoop/MapReduce的输入分片方式一致。 通常情况下，Spark为每一个hdfs块创建一个分区（注：如果行特别长，大于一个块大小，那么最终分区数会少于块数）。但是，若你要进一步...
Spark动态分区合并底层原理详解：案例解析（第30天）
syhiiu的博客
07-09 1610
本文主要详解Spark动态分区合并底层原理和应用场景。
spark更改分区_合理设置Spark数据分区
weixin_32921023的博客
12-24 2224
在Hadoop的map-reduce编程模型中，框架要做的第一步事情，也是对数据进行分块切分，然后对每块数据调用mapper程序进行处理，mapper处理完将结果交给reducer进行第二阶段的处理。在Spark中，也是同样的逻辑。Spark会先对数据进行分区处理，然后在每个分区数据上调用一个task执行线程来执行相应的计算。在使用Python调用Spark的API的时候，首先就是加载数据，使用s...
spark更改分区_如何管理Spark的分区
weixin_35379749的博客
01-14 941
当我们使用Spark加载数据源并进行一些列转换时，Spark会将数据拆分为多个分区Partition，并在分区上并行执行计算。所以理解Spark是如何对数据进行分区的以及何时需要手动调整Spark的分区，可以帮助我们提升Spark程序的运行效率。什么是分区关于什么是分区，其实没有什么神秘的。我们可以通过创建一个DataFrame来说明如何对数据进行分区：scala> val x = (1 t...
spark封神之路(13)-RDD分区详解
HANG.NIAN
06-23 1922
1 简介 简介 理解RDD是spark中封装的用来处理数据的一种抽象概念,其主要包含处理逻辑和要处理的数据! ​ 无论是不读取文件获取的RDD还是从集合转换而来的RDD最终的目的都是为了处理对应的数据 ,数据量海量的话 , 我们应该很容易的想到让数据并行化分布式运算!牵扯到分布式那必然存在数据任务划分的问题!那么RDD在创建的时候就对数据进行了有效的分区!当然我们也可以合理的改变RDD的分区来提高运算效率! 一个partitioner，即RDD的分片函数。当前Spark中实现了两种类型的分片函数.
RDD SparkSubmit分区个数详解 源码解读
m0_46570085的博客
07-07 343
RDD分区个数 1在创建RDD时可以指定分区数量 sc.textFile("hdfs:linux01:9000/data",5) 这里的5就是指定的分区数量 2在启动Spark-shell时指定cores ,也是分区数量 /opt/apps/spark-3.0.0/bin/spark-shell --master spark://linux02:7077 --executor-memory 1g --total-executor-cores 6 如果在创建RDD时没有指定分区数...
Spark 源码解读03---（文件生成的）rdd的分区个数
qq_34446614的博客
09-01 283
2.3、从外部存储（文件）创建rdd的个数 代码案例 val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]") val sc = new SparkContext(conf) // 读取本地文件 val readline = sc.textFile("input/1.txt") readline.collect.foreach(println) val par = readline.getNumPa
Spark数据分区
wusuopuBUPT的专栏
11-20 2555
Spark程序可以通过分区来减少网络通信开销。分区并非对于所有场景都是有好处的：比如， 如果给定RDD只被扫描一遍，那么完全没有必要做分区， 只有当数据多次在诸如连接这种基于键的操作时，分区才会有帮助。 假设我们有一份不变的大文件userData, 以及每5分钟产生的小数据events, 现要求在每5分钟产出events数据后， userData对events做一次join操作。 该过程的代码
Spark学习之路 （十二）Spark分区
potter
05-03 587
1、分区的概念分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。2、为什么要进行分区数据分区，在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支主要在i...
spark学习（五）——分区数据
archer的技术故事
12-01 2238
spark在处理的数据在内部是分partition的。 除非是在本地新建的list数组才需要使用parallelize。保存在hdfs中的文件，在使用spark处理的时候是默认分partition的。 我们可以使用getNumPartitions()获取当前rdd的partition的信息。 通过glom()函数能够获取到分partition的rdd信息 我们在处理数据的一般使用的map函...
Spark每日半小时（13）——获取分区信息以及分区获益的操作
DK_ing的博客
06-06 487
获取RDD的分区方式 在Java中，你可以使用RDD的partitioner()方法来获取RDD的分区方式。它会返回一个Optional<Partitioner>对象，这是用来存放可能存在的对象的容器类。你可以对这个Optional对象调用isPresent()方法来检查其中是否有值，调用get()来获取其中的值。如果存在值的话，这个值会是一个Partitioner对象。这本质上是一...
Spark：读取文件分区数目的一些思考
ihooger的博客
08-01 777
最近在项目中遇到一个问题：在阿里云 oss 上有一些 parquet 文件，这些文件是按照 accountId 进行 partitionBy 写入的，有多个 accountId 对应的目录，总共有 4927 个 parquet 文件，总大小约为 7.3GB。但是使用 Spark 读取然后按 accountId partitionBy 写出去的文件结构跟原来的不一致，而预期是原样读取然后原样写出去。 查阅了相关资料，发现 Spark 有内存分区和磁盘分区的概念，其中 coalesce() 和 repartit
spark04-文件读取分区数据分配原理
oracle8090的博客
02-13 781
文件分区数据分配
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值