Hbase Spark将Hive数据写入Hbase/Lindorm

原创

已于 2024-04-09 16:36:50 修改 · 299 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #spark #hive

于 2024-04-09 16:35:56 首次发布

该篇文章介绍了如何使用ApacheSpark和HBase进行数据处理，通过SparkSession创建DataFrame，然后将DataFrame数据写入到指定的Lindorm表中，利用HBase的TableOutputFormat实现批量写入操作。

package com.jojo.spark.utils

import org.apache.hadoop.hbase.{
   
   HBaseConfiguration, TableName}
import org.apache.spark.SparkConf
import org.apache.spark.sql.{
   
   DataFrame, SparkSession}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.client.{
   
   Connection, ConnectionFactory, Put, Table}
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat
import org.apache.hadoop.mapreduce.Job
import scala.collection.JavaConverters._

/**
 * @author wenXin
 * @date 2024/04/01
 * @describe Hive写入Lindorm
 */
object XGBUserStratificationToLindorm {
   
   
  def main(args: Array[String]): Unit = {
   
   
    /** TODO 创建sparkSession上下文执行环境 */
    val sparkConf = new SparkConf().setAppName("SparkHiveToHbase")
    val sparkSession = SparkSession