Structure Streaming和spark streaming原生API访问HDFS文件数据对比

最新推荐文章于 2022-08-05 18:26:50 发布

weixin_34228662

最新推荐文章于 2022-08-05 18:26:50 发布

阅读量136

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java 移动开发

原文链接：https://juejin.im/post/5bd93de56fb9a0226a73f4b3

本文详细介绍了如何使用Spark Streaming从HDFS中读取数据并进行处理，同时探讨了不同数据读取方式的支持情况，包括移动文件和目录到基目录的场景。通过具体示例，展示了基于代码的实现细节及遇到的问题解决方案。

此文已由作者岳猛授权网易云社区发布。

欢迎访问网易云社区，了解更多网易技术产品运营经验。

Structure Stream访问方式

code examples

import org.apache.spark.sql.streaming._
val df = spark.readStream.text("/home/testhdfs")
val ps = df.writeStream.format("console").outputMode(OutputMode.Append).start复制代码

结论

basedir = /home/testhdfs
支持：mv file to basedir（/home/testhdfs）
不支持：mv directory to basedir

如果往basedir里面添加文件夹会出现ERROR:

java.lang.AssertionError: assertion failed: Conflicting directory structures detected. Suspicious paths:
        hdfs://172.17.1.180:9000/home/testhdfs/data1
        hdfs://172.17.1.180:9000/home/testhdfsIf provided paths are partition directories, please set "basePath" in the options of the data source to specify the root directory of the table. If there are multiple root directories, please load them separately and then union them.复制代码

spark streaming 访问方式

测试textFile接口使用

import org.apache.spark.streaming._
val ssc = StreamingContext.getActiveOrCreate(() => new StreamingContext(sc,                  Seconds(120)))
val ds1 = ssc.textFileStream("/home/testhdfs2")
ds1.print
ssc.start复制代码