Scala SpeakStreaming存储Kafka数据到Hbase

最新推荐文章于 2021-06-01 14:46:09 发布

原创

最新推荐文章于 2021-06-01 14:46:09 发布 · 412 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #scala #speakstreaming

本文介绍如何利用Scala的SpeakStreaming库，从Kafka流中消费数据并实时存储到Hbase数据库，实现高效的数据处理和存储。通过这种方式，可以构建实时数据管道，确保大数据的快速流动和持久化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import java.util.regex.Pattern

import com.haut.zm.init.KafkaToHbaseInit.{sparkConf}
import org.apache.hadoop.hbase.{HBaseConfiguration, TableName}
import org.apache.hadoop.hbase.client.{ConnectionFactory, Put}
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.log4j.Level
import org.apache.spark.SparkContext
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}

object SaveSpeakToHbase {

  val columnFamily: Array[Byte] = "data".getBytes
  val propertyColumn: Array[Byte] = "property".getBytes
  val valueColumn: Array[Byte] = "value".getBytes
  val timeColumn: Array[Byte] = "time".getBytes

  def main(args: Array[String]): Unit = {
    val sc = new SparkContext(sparkConf)
    stepOne(sc)
  }

  def stepOne(sc: SparkContext): Unit = {
    val brokers = "node1:6667,node2:6667,node3:6667"
    val kafkaParams = M