spark读取文件分区，textFile()的理解

最新推荐文章于 2024-03-07 17:47:04 发布
最新推荐文章于 2024-03-07 17:47:04 发布
阅读量3k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AmazingPy/article/details/120183334
博客探讨了Spark中textFile函数的使用，通过实例解释了如何根据最小分区数设置来影响最终分区数量。内容涉及文件读取、分区计算逻辑以及Hadoop的TextInputFormat。在给定的例子中，1.txt和2.txt文件被读取，每个文件按指定的每个分区字节数进行分区，导致最终产生7个分区。讨论了分区原则，包括余下字节大于分区数据量0.1倍时会创建额外分区。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

textFile函数

SparkContext.textFile(path,minPartitions)

设置两个文件：1.txt 和 2.txt放在data目录下，读取data目录，结合实际分区理解最小分区数对最终分区个数的影响。

1.txt文件内容如下

12
3456

2.txt文件内容如下

78
910

测试代码

val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local")
val sc = new SparkContext(conf)
val line = sc.textFile("/data", 5)
line.saveAsTextFile("output")

结果

共产生7个分区

解释

textFile读取文件，调用的是Hadoop的TextInputFormat

总字节数 13 byte
最小分区数 5
每个分区字节数 13 / 5 = 2 byte
余下的字节数 13 % 2 = 1 byte
【注意：1 > 0.1 * 2（当余下的数据量大于分区数据量的0.1倍时，会产生新的分区】
所以总分区数应该为7

此外，当有多个文件时（比如本例中data目录下存放有1.txt和2.txt两个文件），按照每个分区字节数（本例为2）对每个文件单独分区，得到各个文件对应的分区即可（原因：不能跨文件读取字节）

以上边的1.txt和2.txt为例：读取到的分区为
1.txt得到3个分区 【12】【3456】【空】【空】
2.txt得到3个分区【78】【901】【空】

故，最后结果得到的是，part-0000 - part0006这7个分区，测试结果也是正常的

SparkRDD数据数据读取：readTextFile和HadoopRDD
AI天才研究院
08-02 516
《SparkRDD数据读取：readTextFile和HadoopRDD》 1. 背景介绍 1.1 问题的由来 在大数据时代，数据的规模和复杂性都在不断增长。传统的数据处理方式已经无法满足现代应用的需求
Spark源码解析之读取文件
话数Science
10-04 800
Spark读文件分为两种，一种是是通过SparkContext读取，一种是通过FileSourceScanExec读取（SparkSql属于这种）
Spark之textFile切片详解
洛云凡
11-08 3761
textFile spark所有基于文件的输入方法，都支持目录读取、压缩文件、和通配符， ​ 比如： textFile("/my/directory") textFile("/my/directory/*.txt") textFile("/my/directory/*.gz") 该方法还采用可选的第二个参数来控制文件的分区数，分区规则可以参考源码。 首先按住crtl，鼠标左键点击进入textF...
spark读取hdfs文件的分区数
lijianqingfeng的专栏
12-21 2114
一直以来都没搞懂spark读hdfs文件到底是怎么确定分区数的，分区数如果超过了spark的并行度怎么办。最近又在写spark任务，顺便看一下这个逻辑。 （1）spark读hdfs文件的分区数由hdfs文件占用的文件块数决定。 我们知道，hdfs文件存储的时候是分文件块的，就想操作系统存储文件一样。操作系统的一块一般是1024kB，hdfs文件一般存储大文件，一块一般设置为128MB。 例如：如果读取的一个hdfs文件大小为1280MB，可能是存储为10块，那么spark读取这个文件的分区数就是.
spark textFile方法
鸭梨的博客
11-19 4379
/** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it as an RDD of Strings. * @param path path to the text file on a supported file system * @param minPartitions
Spark textFile
搬砖小工053
07-21 2205
Spark 支持 text files ,SequenceFiles 和任何 hadoop inputFormat 格式，使用 textFile() 方法可以将本地文件或者HDFS文件转换成RDD。 如果读取本地文件，各节点都要有该文件，或者使用网络共享文件 支持整个文件目录的读取，如 textFile(“/my/directory”) 压缩文件读取，如textFile(“/my/directory
textFile
chbxw
04-20 1443
1.1、textFile, 实际调用hadoopFile /** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it as an RDD of String...
【spark2】【源码学习】【分区数】spark读取 本地/可分割/单个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-06 2063
大数据计算中很关键的一个概念就是分布式并行计算，意思就是讲一份原始数据切分成若干份，然后分发到多个机器或者单个机器多个虚拟出来的内存容器中同时执行相同的逻辑，先分发(map)，然后聚合(reduce)的一个过程。 那么问题是原始文件是怎么切分的呢，在spark读取不同的数据源，切分的逻辑也是不同的。 首先spark是有改变分区的函数的，分别是Coalesce()方法和rePartition()方法，但是这两个方法只对shuffle过程生效，包括参数spark.default.parallelism也只是对.
spark-textFile构建RDD的分区及compute计算策略
04-08
Spark-textFile 构建 RDD 的分区及 Compute 计算策略 Spark-textFile 是 Spark 中的一种常用方法，用于从文本文件中构建 RDD。它的主要作用是将文本文件的内容读取出来，并将其转换为 RDD，以便进行后续的数据处理...
spark RDD textFile算子 分区数量详解
lynn_simon的博客
11-24 924
进入textFile原码 发现 分区数量调用 hadoopFile中的TextInputFormat类,传入参数Key为LongWritable即偏移量,value为Text, 由此得知是通过这个类来读取 继续进入TextInputFormat类中 发现有个是否可以切分的判断,可以知道 一些不可拆分的文件由此过滤掉,可以切片拆分的文件继续往下寻找却没有相关处理逻辑 ,所以我们向上去到父类FileInputFormat中 找到如上逻辑,调用了listStatu与namenode交互获取文件属性,把要读取的文件
spark04-文件读取分区数据分配原理
oracle8090的博客
02-13 755
文件分区数据分配
spark学习：1.textFile函数
记录项目中所学到的问题，以及自学记录
09-05 1689
textFile函数
spark textfile函数
xiaosongsjm的博客
04-14 380
textfile函数参数可以是目录，但目录下必须都是文件，读取改目录下所有文件 若想读取不同目录文件可以传list_str参数，形如：文件1，文件2，文件3。。。
Spark基础【RDD持久化、分区器、文件保存读取】
weixin_43923463的博客
08-18 476
自定义分区器继承Partitioner重写方法（2 + 2）numPartitions：准备分几个区getPartition：根据数据的K返回所在的分区编号，从0开始如果有两个连续的相同分区操作，会发生什么第二个partitionBy会不会有shuffle操作// key的类型是数组类型，且分区器是Hash，抛异常 if(keyClass . isArray && partitioner . isInstanceOf [ HashPartitioner ]) {...
spark-textFile的使用
CZW的博客
06-07 1088
package com.atguigu.bigdata.spark.core.rdd.builder import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Spark02_RDD_File { def main(args: Array[String]): Unit = { // TODO 准备环境 // local[*] *表示当前系统最大可用核数 如果直接写l
源码走读篇之：spark读取textfile时是如何决定分区数的
weixin_36630761的博客
05-03 1434
前言： 关于源码的文章，我自己其实也一直在有道云上有总结一些，犹豫平日里上班的缘故，着实没有太多的精力来写体系的写这些东西，但是，却着实觉得这些东西其实还是很重要的，特别是随着工作时间的渐长，越发觉得源码这个东西还是必须要看的，能带来很多的启发，我个人的体会是，每个工作阶段去解读都会有不一样的感受。 我也不敢说去解读或者说让你彻底搞个明白，自己确实没有那个水平。我...
spark入门 textFile 分区（七)
weixin_43205308的博客
06-09 1154
spark.default.parallelis默认是你的计算机核数，所以当时单核的时候是1，双核数以上是2，可以通过 conf.set(“spark.default.parallelism”, “1”)强制配置为1。模数=文件字节大小/math.min(“spark.default.parallelism”，2)分区数=Math.ceil(文件字节大小/模数) 向上取整。大文件如果是存到本地的化默认为32M hdfs为128M。一个分区大小为128M，还需要基于大文件考虑。
Spark的textFile源码分析
最新发布
weixin_43218601的博客
03-07 619
ok，得到goalSize以后我们还需要计算一个splitSize，也就是真正的分区切片大小，这个公式是splitSize=max(minSize,max(goalSize,blockSize))，这里的话minSize默认为1，blockSize默认就是Hadoop的切块大小(所以我们可以调整minSize和blockSize灵活调整splitSize的大小，想调大，就把minSize调大，想调小，就把blockSize调小)。注意我这里说的切一个分区是按照逻辑切片，而不是真的对文件物理切分。
Spark源码解析之textFile
走向程序的康庄大道
02-08 4134
Spark加载文件的时候可以指定最小的partition数量，那么这个patition数量和读取文件时的split操作有什么联系呢？下面就跟着Spark源码，看看二者到底是什么关系。/** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file
spark textfile读取文件
08-20
Spark中的textFile函数可以用来读取文本文件。它可以接受一个文件路径作为参数，并返回一个RDD对象，其中每个元素都是文件中的一行文本。例如，以下代码可以读取一个名为“input.txt”的文本文件： val lines = sc....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值