【Spark】读取本地文件

five小点心

已于 2024-04-29 21:08:11 修改

阅读量1.2k

点赞数 2

文章标签： spark 大数据分布式

于 2024-04-29 11:12:25 首次发布

本文链接：https://blog.youkuaiyun.com/d905133872/article/details/138304830

版权

本文描述了在Spark任务中处理本地CSV文件时遇到的问题，涉及将文件写入临时文件、上传到HDFS以及使用Map和RDD进行数据转换的操作过程，最终找到解决权限问题的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近有一个需求，spark任务读取本地csv文件，拼接成rk之后再去hbase取值进行后续处理。搞了好久都没能解决，记录一下解决思路如下：

1、写入临时文件

spark可以读取本地文件，但打成jar包之后不会自动读取jar包中的文件，需要写入临时文件再进行读取。于是操作如下：

//定义文件路径，从jar包中读取csv文件到inputStream
val inputStream = this.getClass.getResourceAsStream(s"/source/fileName.csv")

//创建临时文件存储csv文件
val tempFile = Files.createTempFile("temp-source",".csv")
val tempFilePath = tempFile.toAbsolutePath.toString

val outputStream = new FileOutputStream(tempFilePath)
val bufferedOutputStream = new BufferedOutputStream(outputStream)

//将inputStream中的数据写入到临时文件
try {
    val buffer = enw Array[Byte](1024)
    var bytesRead = -1
    while ({
        bytesRead = inputStream.read(buffer)
        var bytesRead = -1
    }) {
        bufferedOutputStream.write(buffer,0,bytesRead)
    }
} finally {
    bufferedOutputStream.close()
    outputStream.close()
}
pri

最低0.47元/天解锁文章