【spark2】【源码学习】【分区数】spark读取 hdfs/可分割/单个 的文件时是如何划分分区

最新推荐文章于 2024-10-22 16:26:48 发布
原创 最新推荐文章于 2024-10-22 16:26:48 发布 · 654 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark2 #源码学习

前言

spark怎么知道读取的是本地文件还是hdfs的文件呢？

前面写过一篇博客【spark2的textFile()是怎么实例化各个不同的fs(FileSystem)】，主要是指【本地文件系统】和【hadoop文件系统】，我们看到源码里最后是根据文件路径url的scheme来判断的：
file: LocalFileSystem
hdfs: DistributeFileSystem

1、获取blockSize

1、直接从InputSplit[] getSplits(JobConf job, int numSplits)说起
2、因为前部分是跟读取本地文件是一样的，所以不重复写了，具体可参考博客内 【spark读取 本地/可分割/单个 的文件时是如何划分分区】

1.1、集群blockSzie=256M，hdfs文件blockSize=256M：

在这里插入图片描述
在这里插入图片描述

1.2、集群blockSzie=256M，hdfs文件blockSize=128M：

最低0.47元/天 解锁文章
Spark 读取 HDFS 文件时 RDD 分区数的确定原理与源码分析
z1941563559的博客
11-14 1025
Spark 通过goalSize和blockSize来平衡分区数量与块大小。分区数会随着文件大小、块大小、期望分区数等参数变化。分区数设定不合理会影响性能，例如分区数过多会导致任务调度开销增加，分区数过少则可能导致计算资源未充分利用。
关于spark落盘到hdfs的文件分发规则及处理总结
aline12的博客
02-21 1505
近期又遇到了不少有关spark/hive表落盘到hdfs的问题，借此机会系统性的记录下学习过程。 此次记录的核心语句就是之前老生常谈的distribute by命令，其后跟的规则不同 会产生截然不同的效果 首先回顾下落盘的过程，每一个reducer都会往某一指定路径下写一个文件，有时候一个reducer只写一个路径，有时候会写多个路径，但核心点在于 每一个reducer只会在某一路径下写一个文件。 我们经常会遇到的小文件过多的问题，以及脚本运行很慢甚至卡死的情况（数据倾斜），其实大多数情况下都和落盘的
spark的分区详解
m0_37967990的博客
04-21 1630
hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。partition 是指的spark在计算过程中，生成的数据在计算空间内最小单元，同一份数据（RDD）的partition 大小不一，数量不定，是根据application里的算子和最初读入的数据分块数量决定的，这也是为什么叫“弹性分布式”数据集的原因之一。我们需要注意的是，只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的。
spark读取hdfs文件的分区数
lijianqingfeng的专栏
12-21 2206
一直以来都没搞懂spark读hdfs文件到底是怎么确定分区数的，分区数如果超过了spark的并行度怎么办。最近又在写spark任务，顺便看一下这个逻辑。 （1）spark读hdfs文件的分区数由hdfs文件占用的文件块数决定。 我们知道，hdfs文件存储的时候是分文件块的，就想操作系统存储文件一样。操作系统的一块一般是1024kB，hdfs文件一般存储大文件，一块一般设置为128MB。 例如：如果读取的一个hdfs文件大小为1280MB，可能是存储为10块，那么spark读取这个文件的分区数就是.
云运维-初级1段-Linux磁盘管理
LiangZJ
10-23 452
Linux磁盘管理 1.查看磁盘或者目录的容量 1.1 命令 : df “df” 查看已挂载磁盘的总容量、使用容量、剩余容量等，可以不加任何参数，默认是按k为单位显示的，如图 df” 常用选项有 “-i” “-h” “-k” “-m”等, 使用“-i” 查看inodes使用状况，如图 “-h” 使用合适的单位显示，例如 ‘G’，如图 “-k”, “-m” 分别以K, M 为单位显示，如图 1.2 命令 : du “du” 用来查看某个目录或文件所占空间大小. 语法 : du [-
【spark2】【源码学习】【分区数】spark读取 本地/可分割/单个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-06 2119
大数据计算中很关键的一个概念就是分布式并行计算，意思就是讲一份原始数据切分成若干份，然后分发到多个机器或者单个机器多个虚拟出来的内存容器中同时执行相同的逻辑，先分发(map)，然后聚合(reduce)的一个过程。 那么问题是原始文件是怎么切分的呢，在spark读取不同的数据源，切分的逻辑也是不同的。 首先spark是有改变分区的函数的，分别是Coalesce()方法和rePartition()方法，但是这两个方法只对shuffle过程生效，包括参数spark.default.parallelism也只是对.
Spark源码解析之读取文件
话数Science
10-04 886
Spark读文件分为两种，一种是是通过SparkContext读取，一种是通过FileSourceScanExec读取（SparkSql属于这种）
spark读取parquet文件
weixin_43839095的博客
10-22 1204
spark读取parquet文件，拆分文件生成task数量
spark 读取hive table时分区数由什么决定
龙共三金的专栏
07-15 1215
spark 读取hive table时分区数由什么决定 这个话题比较复杂，他不是一个单一的指标的来决定。主要是取决于表存储的文件大小，hdfs的块文件大小，hive是否是分区表，如果是分区表一个hive表分区一个hadoopRDD, 最后会union成一个RDD，如果不是分区表就是一个HadoopRDD。如果hive底层存储单个文件大小超过块大小，这一个文件的读取就会被hdfs的块大小除以max(“mapreduce.job.maps”,2)来划分，如果块大于文件大小就使用文件大小除以max(“mapred
源码走读篇之：spark读取textfile时是如何决定分区数的
weixin_36630761的博客
05-03 1488
前言： 关于源码的文章，我自己其实也一直在有道云上有总结一些，犹豫平日里上班的缘故，着实没有太多的精力来写体系的写这些东西，但是，却着实觉得这些东西其实还是很重要的，特别是随着工作时间的渐长，越发觉得源码这个东西还是必须要看的，能带来很多的启发，我个人的体会是，每个工作阶段去解读都会有不一样的感受。 我也不敢说去解读或者说让你彻底搞个明白，自己确实没有那个水平。我...
Spark读取HDFS文件分区数量确定
绝版丶废材的博客
07-05 1062
结论 split数量决定分区数量 split数量取决于textFile ("", partitionNum)参数 goalsize = totalsize / partitionNum splitsize = Max(minSize,Max(goalsize, blocksize)) 文件大小大于splitsize 1.1倍会被拆分 一个分区只能包含一个文件 分区数量 >= 文件数量 参考地址：https://www.jianshu.com/p/e33671341f0d ...
HDFS数据存储，文件块与spark的分区概念
攻城狮Kevin
01-05 1528
HDFS中数据以文件块的形式存储在DataNode上， 比如一个1GB的数据文件，会切分成多个128M的文件块， 数据写入存储的时候，每个128M文件块会存放在一个DataNode上， 同时通过机架感知，在最近的两个DataNode节点上分别存放2个副本文件。 ps：极限情况，如果128M文件块的个数超过DataNode的个数，会随机选出DataNode存放多余的文件块，但是一个128M文件块只存储在一个DataNode中，机架感知出最近的两个DataNode存放其副本。 这样spark在读取HD
【spark2】【源码学习】【分区数】spark读取 hdfs/可分割/多个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-25 550
一、简要概述 1、goalSize从单个文件totalSize/minPartitions变成多个文件totalSize/minPartitions， 2、然后依旧是通过goalSize，minSize，blockSize计算出splitSize， 3、最后将splitSize单独应用到每个文件上面，将所有分区加起来就是最后得到的总分区了。 二、minPartitions设置为3的分片情况 三、minPartitions设置为2的分片情况 总结、 参考 【spark读取 本地/可分割/多个 的文件
[spark] 存储到hdfs时指定分区
言之。
12-26 1万+
在 SparkSQL 中指定多个分区字段进行数据存储：类似hive 分区存储。
spark 读取 hdfs 数据分区规则
偷闲小苑
04-03 5471
下文以读取 parquet 文件 / parquet hive table 为例： hive metastore 和 parquet 转化的方式通过 spark.sql.hive.convertMetastoreParquet 控制，默认为 true。 如果设置为 true ，会使用 org.apache.spark.sql.execution.FileSourceScanExec ，否则会使...
【Spark】重分区
zxlove
08-31 2519
重分区的两种方式（coalesce与reparation）： dataset（spark2.0以上，dataset/dataframe）：coalesce（shuffle=false）；reparation（shuffle=true，且可按column进行分区）； rdd：coalesce（默认shuffle=false，可传参数，开启shuffle）；reparation（shuffle=t...
spark中HDFS文件操作，hive表操作
Code_LT的博客
09-16 2917
import java.io.OutputStreamWriter /** * 读取hdfs文件 * * @param aPath 要读取的文件路径,如hdfs://clusterA/direct1/text1.txt" * @return */ val sc = SparkSession.builder().enableHiveSupport().getOrCr...
Spark读取parquet文件的切分逻辑
weixin_43015677的博客
07-11 683
1.实际使用结果记录，申请资源 --num-executors 200 --executor-memory 8G --executor-cores 2。1.实际使用结果记录，申请资源 --num-executors 100 --executor-memory 8G --executor-cores 1。//读取文件时打包成最大的partition大小 256M，对应一个block大。//通过 fs 获取文件的大小bytes，// 总共读取的大小。// 文件打开开销，每次打开文件最少需要读取的字节 4M。
Spark分区 partition 详解
热门推荐
.
08-05 2万+
一、Spark数据分区方式简要 在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组，其中Partition是数组中的每个元素，并且这些元素分布在多台机器中。图一中，RDD1包含了5个Partition，RDD2包含了3个Partition，这些Partiti...
spark的是如何进行分区的，分区的大小多少如何判定
最新发布
11-22
<think> 我们正在讨论Spark的分区机制。根据用户的问题，他/她想了解Spark如何进行分区以及如何判定分区大小。结合之前的对话历史和提供的引用内容，我们可以总结如下： 1. **分区的目的**：分区是Spark并行计算的基本单位，合理分区可以显著提升性能[^1]。 2. **分区方式**： - **默认分区**：Spark根据数据源和配置自动划分分区。例如，从HDFS读取文件时，每个Block（默认128MB）对应一个分区[^4]。 - **手动分区**：通过`repartition()`或`coalesce()`调整分区数。 - **分区器（Partitioner）**：在Shuffle操作中，Spark使用分区器决定数据如何分布到下游分区。默认是哈希分区器（HashPartitioner）[^3][^5]。 3. **分区大小判定**： - **数据量**：Spark会根据数据量大小和集群配置自动调整分区数[^2]。 - **配置参数**：`spark.default.parallelism`设置默认并行度（即分区数）[^5]。 - **父RDD影响**：子RDD的分区数可能继承自父RDD或由操作类型决定（如join操作的分区数由`spark.default.parallelism`决定）[^5]。 现在，我们详细展开： ### 一、Spark的分区方式 #### 1. 初始分区（数据加载时） - **文件数据源**（如HDFS）： - 每个文件块（Block）对应一个分区。 - 例如：HDFS块大小为128MB，则一个1GB文件会被分为8个分区（1024/128=8）[^4]。 - **集合数据源**（如`sc.parallelize()`）： - 分区数由`spark.default.parallelism`决定（集群模式默认值为总核心数，本地模式为本地线程数）[^5]。 #### 2. 转换操作中的分区变化 | 操作类型 | 分区行为 | |-------------------|--------------------------------------------------------------------------| | **窄依赖操作** | 分区数不变（如`map`、`filter`） | | **宽依赖操作** | 触发Shuffle，生成新分区（如`groupByKey`、`join`） | | **重分区操作** | 显式调整分区：<br>- `repartition(numPartitions)`：增加或减少分区数<br>- `coalesce()`：仅减少分区数（无Shuffle） | #### 3. 分区器（Partitioner）的作用 - **哈希分区器（HashPartitioner）**（默认）： - 分区规则：$ \text{partition} = \text{hash}(key) \\mod \\text{numPartitions} $。 - 问题：可能引起数据倾斜（某些分区数据量过大）[^3]。 - **范围分区器（RangePartitioner）**： - 按Key的范围分区（需抽样数据），用于`sortByKey`等操作。 - **自定义分区器**： - 继承`Partitioner`类，实现`numPartitions`和`getPartition`方法。 ### 二、分区大小的判定方法 #### 1. 自动判定逻辑 - **目标**：使每个分区数据量适中（通常建议128MB以内）。 - **影响因素**： - **数据源大小**：从HDFS读取时，分区数 ≈ 总数据量 / Block大小。 - **集群资源**：分区数不应超过总核心数的2~4倍（避免过度并行化）。 - **Shuffle操作**：新分区数由`spark.default.parallelism`控制（默认200）[^5]。 #### 2. 手动调优参数 | 参数 | 作用 | |-------------------------------|----------------------------------------------------------------------| | `spark.default.parallelism` | 设置Shuffle操作的默认分区数（如`reduceByKey`）[^5] | | `spark.sql.shuffle.partitions` | DataFrame API中Shuffle操作的分区数（默认200） | #### 3. 优化建议 - **避免倾斜**：使用`salting`技术（为Key添加随机前缀）分散热点数据[^3]。 - **合理分区数**： - 太大：任务调度开销增加。 - 太小：无法充分利用并行度。 - 公式参考：$ \text{理想分区数} = \frac{\text{总数据量}}{\text{目标分区大小}} $（目标分区大小通常为100-200MB）。 - **动态调整**： - Spark 3.0+支持自适应查询（AQE），可自动合并小分区（`spark.sql.adaptive.enabled=true`）。 ### 三、案例说明 ```scala // 示例：从HDFS加载数据并调整分区 val data = spark.read.text("hdfs://path/to/data.txt") // 原始分区数=文件块数 val words = data.flatMap(_.split(" ")) // 手动重分区（触发Shuffle） val repartitioned = words.repartition(100) // 使用分区器操作 val kvPairs = words.map(word => (word, 1)) val counts = kvPairs.reduceByKey(_ + _, 50) // 设置50个分区 ``` ### 四、总结 - **分区方式**：自动（数据源/Shuffle） + 手动（`repartition`/`coalesce`）。 - **分区大小判定**： - 初始加载：由数据源决定（如HDFS块大小）[^4]。 - Shuffle阶段：由`spark.default.parallelism`或操作参数决定[^5]。 - 优化目标：平衡数据分布，避免倾斜[^3]。 --- ### 相关问题 1. 如何检测Spark任务的数据倾斜？ 2. Spark 3.0的自适应查询（AQE）如何优化分区？ 3. 哈希分区器和范围分区器的适用场景分别是什么？ 4. 如何自定义Spark分区器解决特定业务场景的数据分布问题？ </think>### Spark分区机制详解：分区方式与分区大小判定 #### 一、Spark的分区方式 Spark主要通过以下三种方式确定数据分区： 1. **基于数据源的分区**（初始分区） - 从HDFS读取：每个HDFS块（默认128MB）对应一个RDD分区[^4] - 集合数据：由`spark.default.parallelism`控制（默认=集群核心数） ```scala // 示例：集合数据分区 val rdd = sc.parallelize(1 to 1000) // 分区数=spark.default.parallelism ``` 2. **基于转换操作的分区** | 操作类型 | 分区行为 | |----------------|--------------------------------------------------------------------------| | **窄依赖操作** | 保留父RDD分区结构（如`map`, `filter`) | | **宽依赖操作** | 触发重新分区（如`groupByKey`, `join`），使用HashPartitioner（默认）[^3] | ```scala // 宽依赖示例：reduceByKey默认使用HashPartitioner val counts = rdd.reduceByKey(_ + _) // 分区数=spark.default.parallelism ``` 3. **显式重分区方法** ```scala // 增加分区（触发Shuffle） rdd.repartition(100) // 减少分区（无Shuffle） rdd.coalesce(10) ``` #### 二、分区大小判定机制 Spark通过以下策略决定分区大小和数量： 1. **分区数判定公式** $$ \text{分区数} = \max\left(\text{父RDD分区数}, \text{spark.default.parallelism}\right) $$ 特殊规则： - Join操作：取父RDD中最大分区数[^5] - 无父RDD：取`spark.default.parallelism` 2. **分区数据量控制** | 配置参数 | 默认值 | 作用说明 | |-------------------------------|----------|-----------------------------------| | `spark.sql.files.maxPartitionBytes` | 128MB | 单个分区最大数据量[^2] | | `spark.default.parallelism` | 集群核心数 | Shuffle默认分区数[^5] | | `spark.sql.shuffle.partitions` | 200 | DataFrame的Shuffle分区数 | 3. **动态分区优化（Spark 3.0+）** - 开启自适应查询（AQE）： `spark.sql.adaptive.enabled=true` - 自动合并小分区（避免数据倾斜） ```sql -- 自动合并小于1MB的分区 SET spark.sql.adaptive.coalescePartitions.minPartitionSize=1MB ``` #### 三、分区策略对比 | 分区策略 | 优点 | 缺点 | 适用场景 | |------------------|---------------------------|---------------------------|-----------------------| | **HashPartitioner** (默认) | 计算简单，分布均匀 | 可能数据倾斜 | 常规聚合操作 | | **RangePartitioner** | 避免数据倾斜 | 需要数据抽样，开销较大 | 排序操作 | | **自定义分区器** | 解决业务特定分布问题 | 需开发实现 | 特殊数据分布场景 | #### 四、最佳实践建议 1. **监控分区状态** ```scala // 查看分区信息 rdd.partitions.length // 分区数 rdd.glom().collect() // 查看每个分区数据 ``` 2. **优化策略** - 分区大小控制在100-200MB（HDFS块大小对齐） - 倾斜数据处理： ```scala // 添加随机前缀解决倾斜 rdd.map(k => (s"${Random.nextInt(10)}_$k", v)) .reduceByKey(_ + _) .map(kv => (kv._1.split("_")(1), kv._2)) ``` - 读取文件时合并小文件： ```scala spark.read.option("mergeSchema", "true").parquet("path") ``` #### 五、分区机制示例 ```mermaid flowchart TD A[HDFS文件] -->|128MB/块| B[初始分区=块数] B --> C[filter/map操作] C -->|窄依赖| D[保持分区数] D -->|reduceByKey| E[Shuffle Write] E -->|HashPartitioner| F[新分区数= spark.default.parallelism] F --> G[Shuffle Read] ``` > **关键结论**：Spark分区由数据源特性、操作类型和配置参数共同决定，最佳分区应平衡数据分布均匀性和任务调度开销[^1][^2][^4]。 --- ### 相关问题 1. 如何通过Spark UI监控分区数据倾斜？ 2. Spark 3.0的自适应查询（AQE）如何动态调整分区？ 3. DataFrame和RDD在分区策略上有哪些差异？ 4. 如何处理Spark Shuffle过程中的数据倾斜问题？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值