创建hive和hbase整合表报错原因之一

最新推荐文章于 2025-02-11 11:18:05 发布

原创最新推荐文章于 2025-02-11 11:18:05 发布 · 2k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了解决在Hive中创建与HBase整合的内部表时出现的错误的方法。通过更换hive-hbase-handler-1.2.1.jar文件，从113KB的版本替换为147MB的版本，成功解决了执行错误。

我的hive版本是apache-hive-1.2.1-bin.tar

在hive里创建hive和hbase整合表的内部表报错信息如下：

FAILED: Execution Error, return code 1 from

org.apache.hadoop.hive.ql.exec.DDLTask.

org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V

因为hive lib下的hive-hbase-handler-1.2.1.jar的大小是113KB

要用hive-hbase-handler-1.2.1.jar的147 MB替换hive lib下的hive-hbase-handler-1.2.1.jar的大小是113KB

问题就解决了。。。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

North drift boy

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hive on HBase表字段数超过默认限制，select查询报错

石榴姐yyds

07-05

1260

0 报错内容建表可以成功，查询映射表的时候报错。具体如下： 1 原因分析根本原因：hive on hbase 中默认限制字段的字符数是4000 对于4000个字符，hive Metastore中SERDE_PARAMS表中PARAM_VALUE字段的字符限制是此问题的根本原因。此限制可防止Hive创建具有高列数的表，最终导致desc或select * from失败并出现上述错误。 2 解决方法解决方法：通过在hive Metastore中执行以下操作可以解决此问题 alter .

[解决] HiveServer2中使用jdbc访问hbase时导致ZooKeeper连接持续增加的解决

weixin_34357962的博客

02-23

338

最近在监控中发现HiveServer2连接到zookeeper里的连接持续上涨，很奇怪，虽然知道HiveServer2支持并发连接，使用ZooKeeper来管理Hive表的读写锁，但我们的环境并不需要这些，我们已经关闭并发功能，以下是线上的配置，甚至把这些值都改成final了。但是zookeeper连接依然会涨。后来想想，我们要访问的表是hive去映射的hbase...

3 条评论您还未登录，请先登录后发表或查看评论

2 条评论

Jamesluok1 2019.11.19
没有解决请问有解决的吗？

西西南偏南 2019.03.11
同问，遇到这个问题没有解决呢

pnjgyl 2018.12.13
Emmmmmmmm hive-hbase-handler-1.2.1.jar的147 MB是什么呢没看懂, 求解释谢谢!

hive同步hbase数据报错 columns has 10elements while hbase.columns.mapping has 11 elements

大数据梦想家

01-01

4398

今天做hive建表数据同步hbase时报了下面这个异常。翻译过来大致就是hbase中有11个字段,而hive中只有10个字段，很明显需要同步数据的两个表的字段数不一致! 但问题可没有简单! 在反复确认业务需求的字段数为10个，我就开始纳闷了为啥异常中总说Hbase中有11个字段？后来查了多方资料后终于得出了答案: 在创建hive/hbase相关联的表时，hbase表结构默认会有一个字段...

HBase表映射并创建为Hive外表失败

jingyi1219的博客

04-06

1293

问题描述 21/04/02 12:42:22 INFO : Starting task [Stage-0:DDL] in serial mode 21/04/02 12:42:22 ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive

org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V-不兼容

Jamesluok1的博客

11-19

1706

hive中创建表关联HBase报错ERROR [main]: exec.DDLTask (DDLTask.java:failed(520)) - java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V h...

hive与hbase的整合时错误

u011563666的博客

06-06

2499

当利用hive来管理hbase时，出现如下错误： java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name at org.apache.hadoop.hive.ql.exec.F

【hive】kerberos 环境下hive 创建 hbase 映射表报错 HIVE HBASE INSUFFICIENT PERMISSIONS FOR USER ‘hive‘

Mrerlou的博客

10-26

746

问题描述：使用hive 创建hive 与 hbase 的映射表时报错，说没有创建表的权限。报错内容： HIVE HBASE INSUFFICIENT PERMISSIONS FOR USER ‘hive‘ 解决方案：进入hbase hbase shell 赋予用户权限 grant 'hive','RWXCA' ...

Hive on Spark 查询Hive映射HBase的表报错

zhangs_123的博客

03-29

1487

Hive on Spark 查询Hive映射HBase的表报错

大数据在hive与HBASE联合使用时，hive insert into 出现异常错误

weixin_41509192的博客

07-02

770

在练习HBASE与hive联合使用时 hive无法向与hbase关联的表中添加数据。报出错误如下： hive (default)> insert into table hive_hbase_emp_table select * from emp; Query ID = hadoop_20200703024258_990646f2-d56d-4915-9d4b-b18712baad15 Total jobs = 1 Launching Job 1 out of 1 Number of reduce

hive spark读取hive hbase外表报错分析和解决

最新发布

weixin_42106137的博客

02-11

537

使用Spark shell 操作hive关联Hbase的外表导致报错；hive使用tez引擎操作关联Hbase的外表时报错。问题1：使用tez或spark引擎，在hive查询时只要关联hbase的hive表就会有问题其他表正常。

Hive建外部表关联Hbase的问题

zhangs_123的博客

03-30

1652

Hive建外部表关联Hbase的问题

hive和Hbase整合时发生的异常！

weixin_41836167的博客

10-08

934

建表提示错误 FAILED:ExecutionError,return,code,1,from,org.apache.hadoop.hive.ql.exec.DDLTask.org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;) 解决：hive版本是1.2.0 ...

hive+hbase做关联表问题 Error in metadata: MetaException(

时间(实践)是检验真理的唯一标准

12-11

746

运行的建表语句 create table my_report(myrow string,lastname string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:firstname") tblprope...

hive与hbase整合过程及遇到的错误锦集

C_time的博客

08-20

3953

1.首先清楚版本依赖错误：我的hive是1.2.1 hbase也是1.2.1 然后 hive下面的lib目录有个hive-hbase-handler-1.2.1.jar 包，在你第一次在hive上建与hbase表时，会产生 Cannot find class 'org.apache.hadoop.hive.hbase.struct.HBaseStorageHandler' 既要协调使用hiv...

hbase与hive整合

buptsyqx的专栏

07-09

1603

1. 原理图1Hive与HBase交互原理图 Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互间依靠hive-hbase-handler.jar工具类 (Hive Storage Handlers )进行通信。注意事项： 1、需

HBase与hive整合出现的问题与解决方案

kexin_010的博客

11-24

1004

hive整合hbase时，创建hive表语句的时候没有错误但是报错 hive语句 create external table event_logs_20151220(key string, pl string, ver string, s_time string, u_ud string, u_sd string, en string) stored by 'org.apache.hadoo

Hive和HBase整合

weixin_33971977的博客

08-01

107

Hive和Hbase有各自不同的特征：hive是高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。 Hive继承HBase可以有效利用HBase数据库的存储特性，如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。...

hive整合hbase

weixin_33699914的博客

07-24

113

为什么80%的码农都做不了架构师？>>> ...

将CDH中的hive和hbase相互整合使用

aet62619251的博客

09-05

750

一、.hbase与hive的兼容版本： hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容，不需要自己编译。 hive1.x与hbase0.98.x或则更低版本是兼容的，不需要自己编译。 hive2.x与hbase1.x及比hbase1.x更高版本兼容，不需要自己编译。 hive 1.x 与 hbase 1.x整合时，需要自...