通过Spark访问Hbase的Hive外部表(hive on hbase的表)

本文介绍如何通过Pyspark访问Hive关联Hbase的表,包括必要的jar包配置、Hbase配置文件的引入及创建Hbase外部表的过程。通过具体步骤展示从配置到测试的完整流程。

业务处理的过程中,使用到pyspark访问hive,直接访问没有问题,
后面遇到使用pyspark访问hive关联hbase的表(hive on hbase),就出现报错了。


首先集群已经可以通过spark-sql读取hive的数据,然后进行如下配置。

1.拷贝如下jar包到${spark_home}/jars(spark2.0之前是${spark_home}/lib):

    hbase-protocol-1.2.0-cdh5.10.2.jar
    hbase-client-1.2.0-cdh5.10.2.jar
    hbase-common-1.2.0-cdh5.10.2.jar
    hbase-server-1.2.0-cdh5.10.2.jar
    hive-hbase-handler-1.1.0-cdh5.10.2.jar

2.将hbase的配置文件 hbase-site.xml 拷贝到${spark_home}/conf目录下。
这一步为了解决一些配置的访问问题,如zookeeper、hbase等

3.测试

spark-sql --jars /usr/lib/hbase-current/lib/hbase-server-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar,/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar
pyspark --jars /usr/lib/hbase-current/lib/hbase-server-1.1.1.jar,/usr/lib/hbase-curre
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值