Spark Streaming 批量写入HBase

最新推荐文章于 2022-08-11 15:43:57 发布

weixin_34192993

最新推荐文章于 2022-08-11 15:43:57 发布

阅读量693

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python java

原文链接：https://my.oschina.net/dongtianxi/blog/742653

本文介绍如何使用Apache Spark Streaming处理大量实时数据，并将处理后的数据高效地存储到HBase中。具体实现包括配置Spark Streaming Context，从HDFS读取数据，以及通过自定义转换函数将数据写入HBase。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

val ssc = new StreamingContext(conf, Seconds(10))
    val lines = ssc.textFileStream("hdfs://master:9000/woozoom/").repartition(12).map(_.split(","))
    lines.foreachRDD { rdd =>
      {
        if (rdd.count > 100) {
          rdd.foreachPartition { part =>
            {
              val hbaseConf = HBaseConfiguration.create()
              val htable = new HTable(hbaseConf, TableName.valueOf("UAV_LOG"))
              htable.setAutoFlush(false, false)
              htable.setWriteBufferSize(3 * 1024 * 1024)
              part.foreach { log =>
                {
                  htable.put(convertFromLogToHabse(log))
                }
              }
              htable.flushCommits()
            }
          }
        }
      }
    }