sc.WholeTextFiles与sc.textFile区别

本文探讨了Spark中两种主要的数据加载方式:textFile与wholeTextFiles的区别。通过实际测试案例展示了这两种方式如何处理文件分区,以及它们在面对多个文件时的不同表现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

val data1 = sc.wholeTextFiles("/opt/test")
val data  = sc.textFile("/opt/test/")

使用textFile时,它的partition的数量是与文件夹下的文件数量相关,一个文件就是一个partition。

wholeTextFiles的partition数量是根据用户指定或者文件大小来确定。  个人觉得它通常用于读取许多小文件的需求。

进行测试:

/opt/test下边有五个文件。

然后进行数据加载并指定分区:

val data  = sc.textFile("/opt/test/",1)
data.partitions.length

输出5,这是因为文件是有5个,所以必须是要有5个分区的。

val data1 = sc.wholeTextFiles("/opt/test")
data1.partitions.length

输出1,确定partition数量与文件数量是无关的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值