HIVE创建hbase关联表失败问题

最新推荐文章于 2022-04-15 19:40:55 发布
最新推荐文章于 2022-04-15 19:40:55 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： hive 大数据-hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Yrz7746321/article/details/106950073
版权
本文详细解析了Hive在创建表时遇到的错误，主要原因是MySQL元数据库中SERDE_PARAMS表的PARAM_VALUE字段长度不足。文章提供了检查元数据库字段、查看建表字段长度的具体步骤，并给出了修改字段长度或转换为text类型的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive建表报错：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Put request failed : INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?)
        at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:451)
        at org.datanucleus.api.jdo.JDOPersistenceManager.jdoMakePersistent(JDOPersistenceManager.java:732)
        at org.datanucleus.api.jdo.JDOPersistenceManager.makePersistent(JDOPersistenceManager.java:752)
        at org.apache.hadoop.hive.metastore.ObjectStore.createTable(ObjectStore.java:900)
        at sun.reflect.GeneratedMethodAccessor56.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:98)
        at com.sun.proxy.$Proxy5.createTable(Unknown Source)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.create_table_core(HiveMetaStore.java:1412)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.create_table_with_environment_context(HiveMetaStore.java:1445)
        at sun.reflect.GeneratedMethodAccessor55.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invokeInternal(RetryingHMSHandler.java:133)
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke(RetryingHMSHandler.java:99)
        at com.sun.proxy.$Proxy7.create_table_with_environment_context(Unknown Source)
        at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Processor$create_table_with_environment_context.getResult(ThriftHiveMetastore.java:9207)
        at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Processor$create_table_with_environment_context.getResult(ThriftHiveMetastore.java:9191)
        at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)
        at org.apache.hadoop.hive.metastore.TUGIBasedProcessor$1.run(TUGIBasedProcessor.java:110)
        at org.apache.hadoop.hive.metastore.TUGIBasedProcessor$1.run(TUGIBasedProcessor.java:106)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1707)
        at org.apache.hadoop.hive.metastore.TUGIBasedProcessor.process(TUGIBasedProcessor.java:118)
        at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:285)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
NestedThrowablesStackTrace:
org.datanucleus.store.rdbms.exceptions.MappedDatastoreException: INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?)
        at org.datanucleus.store.rdbms.scostore.JoinMapStore.internalPut(JoinMapStore.java:1078)
        at org.datanucleus.store.rdbms.scostore.JoinMapStore.putAll(JoinMapStore.java:220)
        at org.datanucleus.store.rdbms.mapping.java.MapMapping.postInsert(MapMapping.java:137)
        at org.datanucleus.store.rdbms.request.InsertRequest.execute(InsertRequest.java:519)
        at org.datanucleus.store.rdbms.RDBMSPersistenceHandler.insertTable(RDBMSPersistenceHandler.java:167)
        at org.datanucleus.store.rdbms.RDBMSPersistenceHandler.insertObject(RDBMSPersistenceHandler.java:143)
        at org.datanucleus.state.JDOStateManager.internalMakePersistent(JDOStateManager.java:3784)
        at org.datanucleus.state.JDOStateManager.makePersistent(JDOStateManager.java:3760)
        at org.datanucleus.ExecutionContextImpl.persistObjectInternal(ExecutionContextImpl.java:2219)
        at org.datanucleus.ExecutionContextImpl.persistObjectInternal(ExecutionContextImpl.java:2314)
        at org.datanucleus.store.rdbms.mapping.java.PersistableMapping.setObjectAsValue(PersistableMapping.java:567)
        at org.datanucleus.store.rdbms.mapping.java.PersistableMapping.setObject(PersistableMapping.java:326)
        at org.datanucleus.store.rdbms.fieldmanager.ParameterSetter.storeObjectField(ParameterSetter.java:193)
        at org.datanucleus.state.JDOStateManager.providedObjectField(JDOStateManager.java:1269)
        at org.apache.hadoop.hive.metastore.model.MStorageDescriptor.jdoProvideField(MStorageDescriptor.java)
        at org.apache.hadoop.hive.metastore.model.MStorageDescriptor.jdoProvideFields(MStorageDescriptor.java)
        at org.datanucleus.state.JDOStateManager.provideFields(JDOStateManager.java:1346)
        at org.datanucleus.store.rdbms.request.InsertRequest.execute(InsertRequest.java:289)
        at org.datanucleus.store.rdbms.RDBMSPersistenceHandler.insertTable(RDBMSPersistenceHandler.java:167)
        at org.datanucleus.store.rdbms.RDBMSPersistenceHandler.insertObject(RDBMSPersistenceHandler.java:143)
        at org.datanucleus.state.JDOStateManager.internalMakePersistent(JDOStateManager.java:3784)
        at org.datanucleus.state.JDOStateManager.makePersistent(JDOStateManager.java:3760)
        at org.datanucleus.ExecutionContextImpl.persistObjectInternal(ExecutionContextImpl.java:2219)
        at org.datanucleus.ExecutionContextImpl.persistObjectInternal(ExecutionContextImpl.java:2314)
        at org.datanucleus.store.rdbms.mapping.java.PersistableMapping.setObjectAsValue(PersistableMapping.java:567)
        at org.datanucleus.store.rdbms.mapping.java.PersistableMapping.setObject(PersistableMapping.java:326)
        at org.datanucleus.store.rdbms.fieldmanager.ParameterSetter.storeObjectField(ParameterSetter.java:193)
        at org.datanucleus.state.JDOStateManager.providedObjectField(JDOStateManager.java:1269)
        at org.apache.hadoop.hive.metastore.model.MTable.jdoProvideField(MTable.java)
        at org.apache.hadoop.hive.metastore.model.MTable.jdoProvideFields(MTable.java)
        at org.datanucleus.state.JDOStateManager.provideFields(JDOStateManager.java:1346)
        at org.datanucleus.store.rdbms.request.InsertRequest.execute(InsertRequest.java:289)
        at org.datanucleus.store.rdbms.RDBMSPersistenceHandler.insertTable(RDBMSPersistenceHandler.java:167)
        at org.datanucleus.store.rdbms.RDBMSPersistenceHandler.insertObject(RDBMSPersistenceHandler.java:143)
        at org.datanucleus.state.JDOStateManager.internalMakePersistent(JDOStateManager.java:3784)
        at org.datanucleus.state.JDOStateManager.makePersistent(JDOStateManager.java:3760)
        at org.datanucleus.ExecutionContextImpl.persistObjectInternal(ExecutionContextImpl.java:2219)
        at org.datanucleus.ExecutionContextImpl.persistObjectWork(ExecutionContextImpl.java:2065)
        at org.datanucleus.ExecutionContextImpl.persistObject(ExecutionContextImpl.java:1913)
        at org.datanucleus.ExecutionContextThreadedImpl.persistObject(ExecutionContextThreadedImpl.java:217)
        at org.datanucleus.api.jdo.JDOPersistenceManager.jdoMakePersistent(JDOPersistenceManager.java:727)
        at org.datanucleus.api.jdo.JDOPersistenceManager.makePersistent(JDOPersistenceManager.java:752)
        at org.apache.hadoop.hive.metastore.ObjectStore.createTable(ObjectStore.java:900)
        at sun.reflect.GeneratedMethodAccessor56.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:98)
        at com.sun.proxy.$Proxy5.createTable(Unknown Source)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.create_table_core(HiveMetaStore.java:1412)
        at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.create_table_with_environment_context(HiveMetaStore.java:1445)
        at sun.reflect.GeneratedMethodAccessor55.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invokeInternal(RetryingHMSHandler.java:133)
        at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke(RetryingHMSHandler.java:99)
        at com.sun.proxy.$Proxy7.create_table_with_environment_context(Unknown Source)
        at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Processor$create_table_with_environment_context.getResult(ThriftHiveMetastore.java:9207)
        at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Processor$create_table_with_environment_context.getResult(ThriftHiveMetastore.java:9191)
        at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)
        at org.apache.hadoop.hive.metastore.TUGIBasedProcessor$1.run(TUGIBasedProcessor.java:110)
        at org.apache.hadoop.hive.metastore.TUGIBasedProcessor$1.run(TUGIBasedProcessor.java:106)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1707)
        at org.apache.hadoop.hive.metastore.TUGIBasedProcessor.process(TUGIBasedProcessor.java:118)
        at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:285)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
Caused by: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'PARAM_VALUE' at row 1
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4235)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4169)
        at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2617)
        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2778)
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2834)
        at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2156)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2441)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2366)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2350)
        at com.jolbox.bonecp.PreparedStatementHandle.executeUpdate(PreparedStatementHandle.java:205)
        at org.datanucleus.store.rdbms.ParamLoggingPreparedStatement.executeUpdate(ParamLoggingPreparedStatement.java:399)
        at org.datanucleus.store.rdbms.SQLController.executeStatementUpdate(SQLController.java:439)
        at org.datanucleus.store.rdbms.scostore.JoinMapStore.internalPut(JoinMapStore.java:1069)
        ... 68 more
)

 

1.首先根据报错提示查看mysql元数据库中：
use  hive
show create table SERDE_PARAMS;
可以看到PARAM_VALUE字段的字符为：
`PARAM_VALUE` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
2.我们查看建表字段
select length(PARAM_VALUE) from SERDE_PARAMS  where SERDE_ID ='718110';
+---------------------+
| length(PARAM_VALUE) |
+---------------------+
|                7185 |
|                   1 |
+---------------------+
2 rows in set (0.00 sec)


3.网上的解决办法：
根据网上资料显示MySQL VARCHAR字段最大长度到底是多少
除了text和blob等大字段外，其余了如int,char,varchar这些字段最大存储长度不能超过65535字节，
一般我们表使用utf8编码，按照一个字符最大占用三字节算，最大可存放21845个字符。
所以vachar最少可存储21845个字符。，定义时候可以varchar(21845)

4.通过下面语法修改字段：
alter table  tablename  change column columnname newvolumnname type

alter table  SERDE_PARAMS  MODIFY  PARAM_VALUE  varchar(32672) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL;
或者改为text类型大字段可以动态设置
alter table  SERDE_PARAMS  MODIFY  PARAM_VALUE text;

 

 

 

hive执行报错：(关联on上不支持非等操作)Both left and right aliases encountered in JOIN
someInNeed的博客
09-17 1810
原因：两个表join的时候，不支持两个表的字段 非相等 操作。 可以把不相等条件拿到 where语句中。 SELECT * FROM T1 LEFT JOIN T2 on T1.id=T2.id and T1.name != T2.name 改写成 SELECT * FROM T1 LEFT JOIN T2
hadoop2 集群出现过的问题
后知后觉的it路
06-19 636
    1 The number of live datanodes 2 has reached the minimum number 0   org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /tmp/hadoop...
大数据 在hive与HBASE联合使用时，hive insert into 出现异常错误
weixin_41509192的博客
07-02 732
在练习HBASE与hive联合使用时 hive无法向与hbase关联的表中添加数据。 报出错误如下： hive (default)> insert into table hive_hbase_emp_table select * from emp; Query ID = hadoop_20200703024258_990646f2-d56d-4915-9d4b-b18712baad15 Total jobs = 1 Launching Job 1 out of 1 Number of reduce
hive创建表时报错
莫安逸无风雪
09-12 2608
错误信息 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.) ...
Hbase - error1- FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
99滴神
05-07 629
在hive与hbase整合中，将数据导入hibase中，发现错误如下： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerD.
hive+hbase做关联表问题 Error in metadata: MetaException(
时间(实践)是检验真理的唯一标准
12-11 709
运行的建表语句 create  table my_report(myrow string,lastname string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:firstname") tblprope...
Hive建外部表关联Hbase的问题
zhangs_123的博客
03-30 1587
Hive建外部表关联Hbase的问题
Hive on Spark 查询Hive映射HBase的表报错
zhangs_123的博客
03-29 1444
Hive on Spark 查询Hive映射HBase的表报错
Hbase和Hive的整合
weixin_46606519的博客
04-15 2100
1、版本 hive-1.2.1 hbase-1.2.1 2、需准备 重新编译目录apache-hive-1.2.1-bin/lib下的hive-hbase-handler-1.2.1.jar 编译方法此处省略，提供现成已编译好的hive-hbase-handler-1.2.1.jar 链接：https://pan.baidu.com/s/1Rof67IhMdvnUplEHZubTZQ 提取码：l719 3、替换apache-hive-1.2.1-bin/lib/的hive-hbase-hand.
使用hive+hbase做数据分析
boom的博客
06-18 5205
数据来源：中国软件杯—基于互联网大数据的招聘数据智能分析平台 使用工具：eclipse 环境搭建：hadoop，hive，mysql，hbase，tomcat 博客只做数据分析的流程与方法介绍，代码还在完善中，所以不做提供 闲话不多说，直接展示效果图 1.数据清洗 拿到数据集后发现数据并不是很规整，需要做一些处理，比如说去除制表符，去空或者是换行符等等，这里的处理方法比较简单，可以使用pyth...
【Hive错误合集】Hive-HBase集成：建表报空指针错误
马基客的博客
06-07 1000
错误日志： Caused by: java.lang.NullPointerException at org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher.getMetaReplicaNodes(ZooKeeperWatcher.java:395) at org.apache.hadoop.hbase.zookeeper.MetaTableLocat...
深入探讨Hive与HBase整合的关键技术与实践
- **Hive内部表关联HBase外部表**: Hive内部表存储数据的副本，关联HBase外部表，实现查询时能够访问到HBase的实时数据。 #### 4. Hive与HBase整合的实现步骤 - **HBase表的创建**: 首先在HBase中创建一个表，定义...
Hbase 无法创建表 创建表卡住不动
热门推荐
lxpbs8851的专栏
12-12 1万+
hbase shell不能创建表的原因分析。 一.现象： 前一段时间 安装了Hbase hbase shell 进去之后 list status 命令都能够正常运行。 但是执行建表语句 ： create 'aaa','bbb' 的时候 他就一直卡在那不动,也不报任何错误， 日志里面一直在刷如下的 debug日志： DEBUG org.apache
【hive】kerberos 环境下hive 创建 hbase 映射表报错 HIVE HBASE INSUFFICIENT PERMISSIONS FOR USER ‘hive‘
Mrerlou的博客
10-26 692
问题描述： 使用hive 创建hive 与 hbase 的映射表时报错，说没有创建表的权限。 报错内容： HIVE HBASE INSUFFICIENT PERMISSIONS FOR USER ‘hive‘ 解决方案： 进入hbase hbase shell 赋予用户权限 grant 'hive','RWXCA' ...
return code -101 from org.apache.hadoop.hive.ql.exec.DDLTask问题解决
互联网
02-02 775
运行Hive shell命令创建表时，报出下面这个错误： java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream; at org.apache.hadoop.hbase.ipc.HBaseClient$...
Hive 创建外部表失败解决方案
多一份贡献,多一份环保
12-07 3085
在hdp平台上，使用hive控制台创建一个hbase的外部表，出现ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.TableNotFoundException，原因是启动...
首次启动hive报错 MetaException(message:Hive metastore database is not initialized. Please use schematool
万里飞鹏的博客
11-17 971
Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database...
hive与hbase整合过程及遇到的错误锦集
C_time的博客
08-20 3856
1.首先清楚 版本依赖错误： 我的hive是1.2.1 hbase也是1.2.1 然后 hive下面的lib目录有个hive-hbase-handler-1.2.1.jar 包，在你第一次在hive上建与hbase表时，会产生 Cannot find class 'org.apache.hadoop.hive.hbase.struct.HBaseStorageHandler' 既要协调使用hiv...
hive利用hbase实现更新
太阳的味道
05-21 3589
全过程： 1. 建立hive表映射到hbase表（建表的时候不能建外表） 2. 之后修改hive表属性，企图将内表改为外表，失败，不支持 3. 向hive表插入数据，hive中有结果，hbase中也有结果 4. 在hbase中插入数据，hbase中有结果，hive中也有结果 5. 在hbase中更新数据，hbase中结果有变化，hive中结果也有变化 6.    用hive插入hbas
hive创建hbase外部表
最新发布
02-19
### 如何在 Hive 中创建 HBase 外部表 为了使 Hive 能够访问存储于 HBase 的数据，在 Hive 中需创建一个外部表来映射已经存在于 HBase 中的数据表。此过程不会复制任何实际数据；相反，它会告知 Hive 数据的位置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值