hive on hbase hive映射hbase数据并处理

Thomas2143

于 2021-11-10 11:23:30 发布

阅读量1.4k

点赞数 1

分类专栏：总结文章标签： hbase hive big data

本文链接：https://blog.youkuaiyun.com/qq_35515661/article/details/121244794

版权

总结专栏收录该内容

792 篇文章 ¥99.90 ¥299.90

订阅专栏

本文旨在实现通过Hive查询时与HBase表进行JOIN操作，从而获取所需的结果集，主要涉及大数据环境中的数据整合与分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目的

实现hive表和hbase表 join 获取我想要的结果表

-- zookeeper地址
SET hbase.zookeeper.quorum=192.168.0.7; 
-- hbase在zk上注册的路径
SET zookeeper.znode.parent=/hbase;
-- 应该不用添加 本来就在hive的lib下
ADD jar  /cloud/service/apache-hive-2.3.6-hdp-2.1.3-bin/lib/hive-hbase-handler-2.3.6-hdp-2.1.3.jar;

-- 报错:java.lang.ClassNotFoundException: org.apache.hadoop.hbase.mapreduce.TableInputFormatBase 是因为hive找不到hbase的jar包
--      解决: hive加载hbase的jar 使用方法: 把hbase/lib下所有jar放到hive/auxlib下  参考:https://blog.youkuaiyun.com/qianshangding0708/article/details/50381966
--      坑: 公司数据计算平台应该是复用了hive cli,所以导致jar包配好后,让然报错找不到类,解决方法是进容器,手动hive命令行运行.注意选对yarn队列: set spark.yarn.queue=fcqueue;


-- 注意: 建表语句中bigint写成int会返回null而不是数值.  hbase中dossier数据
-- hdfs上的hbase数据作为hive外部表的数据.
drop table if exi

了解本专栏