streaming流式读取hdfs采坑记

最新推荐文章于 2021-11-01 17:19:29 发布

风是外衣衣衣

最新推荐文章于 2021-11-01 17:19:29 发布

阅读量876

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： streaming

本文链接：https://blog.youkuaiyun.com/weixin_41804049/article/details/84563253

spark 专栏收录该内容

39 篇文章

订阅专栏

本文探讨使用Spark Streaming进行HDFS流式读取的难点，特别是当数据量从KB级跃升至GB级时，揭示了流式读取的批次问题，并通过实例对比，分析了小文件与大文件在接收过程中的差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package rockerMQ


import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext, sql}
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * @Auther: sss
  * @Date: 2018/11/26 10:05
  * @Description:Streaming接收hdfsDemo
  */
object Demo02 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local[*]")
    val ssc = new StreamingContext(conf, Seconds(5))
    val session = SparkSession.builder().config(conf).getOrCreate()
    import session.implicits._
    val value = ssc.textFileStream("hdfs://192.168.xx.xx:9000/tmp/cxbtest")

    value.foreachRDD(rdd => {
     val df= rdd.map(row => {
        val name = row.split(" ", row.length)(0)
        val name1 = row.split(" ", row.length)(1)
        val name2 = row.split(" ", row.length)(2)
        Test(name, name1, name2)
      }).toDF()
      df.createOrReplaceTempView("tmp")
      session.sql("select name,name1,name2 from tmp where name='a' ").show()
    })

    ssc.start()
    ssc.awaitTermination()
  }
}

case class Test(name: String, name1: String, name2: String)

代码如上，自己测试写的

发现流式读取hdfs有个大坑，公司是用rocketMQ作为消息中间件，实时将数据接到hdfs上，因为不会

用sparkStreaming整合mq，就用这种方式来接，发现死活接收不到hdfs的流数据，自己在hdfs上创建目录然后再往里面上传文本发现代码是好使的，最后猜想原因是

自己往hdfs上传的文件或是文本都是几KB，而hdfs接收mq的数据都是几GB为一个文本，感觉流式读取hdfs是以

一个个文本为读取的批次？？不是没有读到文本，而是一个文本形成的时间太久了，hdfs还没形成一个文本，我这边就给kill了