Spark 读取HDFS的Zip文件

Wonf

于 2021-07-29 14:45:01 发布

阅读量473

点赞数

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/wushuang3625/article/details/119211123

版权

Spark 专栏收录该内容

1 篇文章

订阅专栏

这篇文章介绍了如何使用Scala编程通过Apache Spark处理大型zip文件，通过`loadZip`函数逐一分割和解析文件内容，适用于大数据处理场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import java.util.zip.ZipInputStream;
import java.io.BufferedReader;
import java.io.InputStreamReader;   

val path = "xxxx.zip"

def loadZip(path:String)={
    val minPartitions =10
    sc.binaryFiles(path, minPartitions)
    	.flatMap { case (name: String, content: PortableDataStream)=>
        val zis = new ZipInputStream(content.open)
        Stream.continually(zis.getNextEntry)
        	.takeWhile(_ != null)
        	.flatMap { _ =>
                  val br = new BufferedReader(new InputStreamReader(zis))
                  Stream.continually(br.readLine()).takeWhile(_ != null)
              }}
}
 
val rdd = loadZip(path)