用Scala语言连接HBASE

最新推荐文章于 2024-01-29 20:01:28 发布

乌镇风云

最新推荐文章于 2024-01-29 20:01:28 发布

阅读量2.3k

点赞数 1

CC 4.0 BY-SA版权

文章标签： HBASE Scala

本文链接：https://blog.youkuaiyun.com/weixin_43087634/article/details/85888173

在大数据场景中，Scala语言常用于与HBASE交互，本文详细介绍了如何利用Scala的API建立与HBASE的连接，进行数据表的创建、读取、更新和删除等操作，以实现高效的数据管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在大数据背景下，一般会将整理的数据存储到HBASE上，这时，就要用到api去连接HBASE，以实现对表的管理：

/**
  * 上下文标签
  */
object ContextTags {
  def main(args: Array[String]): Unit = {
    if(args.length !=5){

      println(
        """
          |输入参数不合法
          |inputPath：输入路径
          |outputPath：输出路径
          |stopwordsPath：停用词库路径
          |dictPath:字典文件路径
          |day:日期
        """.stripMargin)
      //day的意思是一天一个列簇，保存30天进行清空
      sys.exit()
    }
    //创建一个集合存储输入目录
    val Array(inputPath, outputPath,dicPath,stopwords,day) = args
    val conf = new SparkConf().setAppName(s"${this.getClass.getName}")
      //序列化
      .setMaster("local[*]").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
    val sc = new SparkContext(conf)
    val sQLContext = new SQLContext(sc)
    //压缩
    sQLContext.setConf("spark.sql.parquet.codec", "snappy")
    //读取字典文件
    val map = sc.textFile(dicPath)
      .map(_.split("\t", -1)).
      filter(_.length >=5).map(arr =>{
      (arr(4), arr(1))