【spark2】【源码学习】【分区数】spark读取 hdfs/可分割/单个 的文件时是如何划分分区

最新推荐文章于 2024-10-22 16:26:48 发布
原创 最新推荐文章于 2024-10-22 16:26:48 发布 · 654 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark2 #源码学习

前言

spark怎么知道读取的是本地文件还是hdfs的文件呢？

前面写过一篇博客【spark2的textFile()是怎么实例化各个不同的fs(FileSystem)】，主要是指【本地文件系统】和【hadoop文件系统】，我们看到源码里最后是根据文件路径url的scheme来判断的：
file: LocalFileSystem
hdfs: DistributeFileSystem

1、获取blockSize

1、直接从InputSplit[] getSplits(JobConf job, int numSplits)说起
2、因为前部分是跟读取本地文件是一样的，所以不重复写了，具体可参考博客内 【spark读取 本地/可分割/单个 的文件时是如何划分分区】

1.1、集群blockSzie=256M，hdfs文件blockSize=256M：

在这里插入图片描述
在这里插入图片描述

1.2、集群blockSzie=256M，hdfs文件blockSize=128M：

最低0.47元/天 解锁文章
Spark 读取 HDFS 文件时 RDD 分区数的确定原理与源码分析
z1941563559的博客
11-14 1024
Spark 通过goalSize和blockSize来平衡分区数量与块大小。分区数会随着文件大小、块大小、期望分区数等参数变化。分区数设定不合理会影响性能，例如分区数过多会导致任务调度开销增加，分区数过少则可能导致计算资源未充分利用。
关于spark落盘到hdfs的文件分发规则及处理总结
aline12的博客
02-21 1505
近期又遇到了不少有关spark/hive表落盘到hdfs的问题，借此机会系统性的记录下学习过程。 此次记录的核心语句就是之前老生常谈的distribute by命令，其后跟的规则不同 会产生截然不同的效果 首先回顾下落盘的过程，每一个reducer都会往某一指定路径下写一个文件，有时候一个reducer只写一个路径，有时候会写多个路径，但核心点在于 每一个reducer只会在某一路径下写一个文件。 我们经常会遇到的小文件过多的问题，以及脚本运行很慢甚至卡死的情况（数据倾斜），其实大多数情况下都和落盘的
spark的分区详解
m0_37967990的博客
04-21 1630
hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。partition 是指的spark在计算过程中，生成的数据在计算空间内最小单元，同一份数据（RDD）的partition 大小不一，数量不定，是根据application里的算子和最初读入的数据分块数量决定的，这也是为什么叫“弹性分布式”数据集的原因之一。我们需要注意的是，只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的。
spark读取hdfs文件的分区数
lijianqingfeng的专栏
12-21 2206
一直以来都没搞懂spark读hdfs文件到底是怎么确定分区数的，分区数如果超过了spark的并行度怎么办。最近又在写spark任务，顺便看一下这个逻辑。 （1）spark读hdfs文件的分区数由hdfs文件占用的文件块数决定。 我们知道，hdfs文件存储的时候是分文件块的，就想操作系统存储文件一样。操作系统的一块一般是1024kB，hdfs文件一般存储大文件，一块一般设置为128MB。 例如：如果读取的一个hdfs文件大小为1280MB，可能是存储为10块，那么spark读取这个文件的分区数就是.
云运维-初级1段-Linux磁盘管理
LiangZJ
10-23 452
Linux磁盘管理 1.查看磁盘或者目录的容量 1.1 命令 : df “df” 查看已挂载磁盘的总容量、使用容量、剩余容量等，可以不加任何参数，默认是按k为单位显示的，如图 df” 常用选项有 “-i” “-h” “-k” “-m”等, 使用“-i” 查看inodes使用状况，如图 “-h” 使用合适的单位显示，例如 ‘G’，如图 “-k”, “-m” 分别以K, M 为单位显示，如图 1.2 命令 : du “du” 用来查看某个目录或文件所占空间大小. 语法 : du [-
【spark2】【源码学习】【分区数】spark读取 本地/可分割/单个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-06 2119
大数据计算中很关键的一个概念就是分布式并行计算，意思就是讲一份原始数据切分成若干份，然后分发到多个机器或者单个机器多个虚拟出来的内存容器中同时执行相同的逻辑，先分发(map)，然后聚合(reduce)的一个过程。 那么问题是原始文件是怎么切分的呢，在spark读取不同的数据源，切分的逻辑也是不同的。 首先spark是有改变分区的函数的，分别是Coalesce()方法和rePartition()方法，但是这两个方法只对shuffle过程生效，包括参数spark.default.parallelism也只是对.
Spark源码解析之读取文件
话数Science
10-04 886
Spark读文件分为两种，一种是是通过SparkContext读取，一种是通过FileSourceScanExec读取（SparkSql属于这种）
spark读取parquet文件
weixin_43839095的博客
10-22 1204
spark读取parquet文件，拆分文件生成task数量
spark 读取hive table时分区数由什么决定
龙共三金的专栏
07-15 1215
spark 读取hive table时分区数由什么决定 这个话题比较复杂，他不是一个单一的指标的来决定。主要是取决于表存储的文件大小，hdfs的块文件大小，hive是否是分区表，如果是分区表一个hive表分区一个hadoopRDD, 最后会union成一个RDD，如果不是分区表就是一个HadoopRDD。如果hive底层存储单个文件大小超过块大小，这一个文件的读取就会被hdfs的块大小除以max(“mapreduce.job.maps”,2)来划分，如果块大于文件大小就使用文件大小除以max(“mapred
源码走读篇之：spark读取textfile时是如何决定分区数的
weixin_36630761的博客
05-03 1488
前言： 关于源码的文章，我自己其实也一直在有道云上有总结一些，犹豫平日里上班的缘故，着实没有太多的精力来写体系的写这些东西，但是，却着实觉得这些东西其实还是很重要的，特别是随着工作时间的渐长，越发觉得源码这个东西还是必须要看的，能带来很多的启发，我个人的体会是，每个工作阶段去解读都会有不一样的感受。 我也不敢说去解读或者说让你彻底搞个明白，自己确实没有那个水平。我...
Spark读取HDFS文件分区数量确定
绝版丶废材的博客
07-05 1062
结论 split数量决定分区数量 split数量取决于textFile ("", partitionNum)参数 goalsize = totalsize / partitionNum splitsize = Max(minSize,Max(goalsize, blocksize)) 文件大小大于splitsize 1.1倍会被拆分 一个分区只能包含一个文件 分区数量 >= 文件数量 参考地址：https://www.jianshu.com/p/e33671341f0d ...
HDFS数据存储，文件块与spark的分区概念
攻城狮Kevin
01-05 1528
HDFS中数据以文件块的形式存储在DataNode上， 比如一个1GB的数据文件，会切分成多个128M的文件块， 数据写入存储的时候，每个128M文件块会存放在一个DataNode上， 同时通过机架感知，在最近的两个DataNode节点上分别存放2个副本文件。 ps：极限情况，如果128M文件块的个数超过DataNode的个数，会随机选出DataNode存放多余的文件块，但是一个128M文件块只存储在一个DataNode中，机架感知出最近的两个DataNode存放其副本。 这样spark在读取HD
【spark2】【源码学习】【分区数】spark读取 hdfs/可分割/多个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-25 550
一、简要概述 1、goalSize从单个文件totalSize/minPartitions变成多个文件totalSize/minPartitions， 2、然后依旧是通过goalSize，minSize，blockSize计算出splitSize， 3、最后将splitSize单独应用到每个文件上面，将所有分区加起来就是最后得到的总分区了。 二、minPartitions设置为3的分片情况 三、minPartitions设置为2的分片情况 总结、 参考 【spark读取 本地/可分割/多个 的文件
[spark] 存储到hdfs时指定分区
言之。
12-26 1万+
在 SparkSQL 中指定多个分区字段进行数据存储：类似hive 分区存储。
spark 读取 hdfs 数据分区规则
偷闲小苑
04-03 5470
下文以读取 parquet 文件 / parquet hive table 为例： hive metastore 和 parquet 转化的方式通过 spark.sql.hive.convertMetastoreParquet 控制，默认为 true。 如果设置为 true ，会使用 org.apache.spark.sql.execution.FileSourceScanExec ，否则会使...
【Spark】重分区
zxlove
08-31 2518
重分区的两种方式（coalesce与reparation）： dataset（spark2.0以上，dataset/dataframe）：coalesce（shuffle=false）；reparation（shuffle=true，且可按column进行分区）； rdd：coalesce（默认shuffle=false，可传参数，开启shuffle）；reparation（shuffle=t...
spark中HDFS文件操作，hive表操作
Code_LT的博客
09-16 2917
import java.io.OutputStreamWriter /** * 读取hdfs文件 * * @param aPath 要读取的文件路径,如hdfs://clusterA/direct1/text1.txt" * @return */ val sc = SparkSession.builder().enableHiveSupport().getOrCr...
Spark读取parquet文件的切分逻辑
weixin_43015677的博客
07-11 683
1.实际使用结果记录，申请资源 --num-executors 200 --executor-memory 8G --executor-cores 2。1.实际使用结果记录，申请资源 --num-executors 100 --executor-memory 8G --executor-cores 1。//读取文件时打包成最大的partition大小 256M，对应一个block大。//通过 fs 获取文件的大小bytes，// 总共读取的大小。// 文件打开开销，每次打开文件最少需要读取的字节 4M。
Spark分区 partition 详解
热门推荐
.
08-05 2万+
一、Spark数据分区方式简要 在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组，其中Partition是数组中的每个元素，并且这些元素分布在多台机器中。图一中，RDD1包含了5个Partition，RDD2包含了3个Partition，这些Partiti...
spark的是如何进行分区的，分区的大小多少如何判定
最新发布
11-22
例如，从HDFS读取文件时，每个Block（默认128MB）对应一个分区[^4]。 - **手动分区**：通过`repartition()`或`coalesce()`调整分区数。 - **分区器（Partitioner）**：在Shuffle操作中，Spark使用分区器决定数据...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值