Hive多表连接异常，java.lang.ArrayIndexOutOfBounds ：140，官方Bug，在3.0.0版本已经被解决了

最新推荐文章于 2022-08-23 10:03:15 发布
最新推荐文章于 2022-08-23 10:03:15 发布
阅读量5.4k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Hive 大数据 文章标签： Hive ArrayIndexOutOfBounds
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38822045/article/details/88050203
探讨Hive在多表连接及使用limit时出现的序列化Bug，涉及列裁剪导致的数据字段丢失问题，提供官方解决方案链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

后续官方解决方案：https://issues.apache.org/jira/browse/HIVE-14564

异常详细情况

2019-02-28 16:33:44,429 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Got allocated containers 1
2019-02-28 16:33:44,429 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Assigning container Container: [ContainerId: container_e25_1551269222015_0034_01_000005, NodeId: bigdata001:45454, NodeHttpAddress: bigdata001:8042, Resource: <memory:2048, vCores:1>, Priority: 5, Token: Token { kind: ContainerToken, service: 192.168.30.230:45454 }, ] to fast fail map
2019-02-28 16:33:44,431 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Assigned from earlierFailedMaps
2019-02-28 16:33:44,432 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Assigned container container_e25_1551269222015_0034_01_000005 to attempt_1551269222015_0034_m_000000_3
2019-02-28 16:33:44,432 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Recalculating schedule, headroom=<memory:43008, vCores:1>
2019-02-28 16:33:44,432 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Reduce slow start threshold not met. completedMapsForReduceSlowstart 1
2019-02-28 16:33:44,432 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: After Scheduling: PendingReds:4 ScheduledMaps:0 ScheduledReds:0 AssignedMaps:1 AssignedReds:0 CompletedMaps:0 CompletedReds:0 ContAlloc:4 ContRel:0 HostLocal:0 RackLocal:1
2019-02-28 16:33:44,432 INFO [AsyncDispatcher event handler] org.apache.hadoop.yarn.util.RackResolver: Resolved bigdata001 to /default-rack
2019-02-28 16:33:44,433 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: attempt_1551269222015_0034_m_000000_3 TaskAttempt Transitioned from UNASSIGNED to ASSIGNED
2019-02-28 16:33:44,433 INFO [ContainerLauncher #6] org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl: Processing the event EventType: CONTAINER_REMOTE_LAUNCH for container container_e25_1551269222015_0034_01_000005 taskAttempt attempt_1551269222015_0034_m_000000_3
2019-02-28 16:33:44,433 INFO [ContainerLauncher #6] org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl: Launching attempt_1551269222015_0034_m_000000_3
2019-02-28 16:33:44,434 INFO [ContainerLauncher #6] org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy: Opening proxy : bigdata001:45454
2019-02-28 16:33:44,441 INFO [ContainerLauncher #6] org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl: Shuffle port returned by ContainerManager for attempt_1551269222015_0034_m_000000_3 : 13562
2019-02-28 16:33:44,441 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: TaskAttempt: [attempt_1551269222015_0034_m_000000_3] using containerId: [container_e25_1551269222015_0034_01_000005 on NM: [bigdata001:45454]
2019-02-28 16:33:44,442 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: attempt_1551269222015_0034_m_000000_3 TaskAttempt Transitioned from ASSIGNED to RUNNING
2019-02-28 16:33:45,434 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerRequestor: getResources() for application_1551269222015_0034: ask=1 release= 0 newContainers=0 finishedContainers=0 resourcelimit=<memory:43008, vCores:1> knownNMs=3
2019-02-28 16:33:45,785 INFO [Socket Reader #1 for port 35318] SecurityLogger.org.apache.hadoop.ipc.Server: Auth successful for job_1551269222015_0034 (auth:SIMPLE)
2019-02-28 16:33:45,796 INFO [IPC Server handler 4 on 35318] org.apache.hadoop.mapred.TaskAttemptListenerImpl: JVM with ID : jvm_1551269222015_0034_m_27487790694405 asked for a task
2019-02-28 16:33:45,796 INFO [IPC Server handler 4 on 35318] org.apache.hadoop.mapred.TaskAttemptListenerImpl: JVM with ID: jvm_1551269222015_0034_m_27487790694405 given task: attempt_1551269222015_0034_m_000000_3
2019-02-28 16:33:47,740 INFO [IPC Server handler 1 on 35318] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1551269222015_0034_m_000000_3 is : 0.0
2019-02-28 16:33:47,743 FATAL [IPC Server handler 2 on 35318] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1551269222015_0034_m_000000_3 - exited : java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row [Error getting row data with exception java.lang.ArrayIndexOutOfBoundsException: -1746617499
    at org.apache.hadoop.hive.serde2.lazybinary.LazyBinaryUtils.readVInt(LazyBinaryUtils.java:314)
    at org.apache.hadoop.hive.serde2.lazybinary.LazyBinaryUtils.checkObjectByteInfo(LazyBinaryUtils.java:183)
    at org.apache.hadoop.hive.serde2.lazybinary.LazyBinaryStruct.parse(LazyBinaryStruct.java:142)
    at org.apache.hadoop.hive.serde2.lazybinary.LazyBinaryStruct.getField(LazyBinaryStruct.java:202)
    at org.apache.hadoop.hive.serde2.lazybinary.objectinspector.LazyBinaryStructObjectInspector.getStructFieldData(LazyBinaryStructObjectInspector.java:64)
    at org.apache.hadoop.hive.serde2.SerDeUtils.buildJSONString(SerDeUtils.java:354)
    at org.apache.hadoop.hive.serde2.SerDeUtils.getJSONString(SerDeUtils.java:198)
    at org.apache.hadoop.hive.serde2.SerDeUtils.getJSONString(SerDeUtils.java:184)
    at org.apache.hadoop.hive.ql.exec.MapOperator.toErrorMessage(MapOperator.java:588)
    at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:557)
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:163)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)
 ]
    at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:172)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row [Error getting row data with exception java.lang.ArrayIndexOutOfBoundsException: -1746617499
    at org.apache.hadoop.hive.serde2.lazybinary.LazyBinaryUtils.readVInt(LazyBinaryUtils.java:314)
    at org.apache.hadoop.hive.serde2.lazybinary.LazyBinaryUtils.checkObjectByteInfo(LazyBinaryUtils.java:183)
    at org.apache.hadoop.hive.serde2.lazybinary.LazyBinaryStruct.parse(LazyBinaryStruct.java:142)
    at org.apache.hadoop.hive.serde2.lazybinary.LazyBinaryStruct.getField(LazyBinaryStruct.java:202)
    at org.apache.hadoop.hive.serde2.lazybinary.objectinspector.LazyBinaryStructObjectInspector.getStructFieldData(LazyBinaryStructObjectInspector.java:64)
    at org.apache.hadoop.hive.serde2.SerDeUtils.buildJSONString(SerDeUtils.java:354)
    at org.apache.hadoop.hive.serde2.SerDeUtils.getJSONString(SerDeUtils.java:198)
    at org.apache.hadoop.hive.ser
最低0.47元/天 解锁文章

200万优质内容无限畅学
Flink SQL 客户端查询Hive配置及问题解决
主要分享大数据相关的知识，如Spark、Hudi
08-27 2062
记录博主第一次使用Flink SQL查询Hive的配置以及问题解决过程flink-1.14.3，这里使用kyuubi1.5.2自带的FlinkHDP环境，Hadoop、Hive等已经安装配置好export HADOOP_CLASSPATH=可以添加在比如/ect/profile里，这样等于修改全局的环境，如果想只对Flink生效，可以添加在bin/config.sh文件里 jar包 下载地址：https://repo1.maven.org/maven2/org/apache/flink/flink-con
hadoop3下配置hive3.0.0详细过程步骤
Akari0216的博客
09-03 1512
安装好hadoop3之后就需要安装hive了。在安装之前，需要了解清楚准备步骤和版本对应问题。 在安装hive之前需要先安装mysql或者mariadb，两者之间的区别及共性在此不做赘述。 关于版本对应问题，需要了解的是不同的hadoop版本所配置的hive,hbase等工具的版本是不同的，hive版本对应可以参考Hive:http://hive.apache.org/downloads.html，hbase版本对应可以参考这里HBase:http://hbase.apache.org/book.html#
hive ArrayIndexOutOfBoundsException
zhouzhoumi的专栏
03-09 2106
环境：hive on mr 异常： 2021-03-09 10:12:36,807 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at org.apache.hado
Error解决：hive中的数组越界异常IndexOutOfBoundsException
小平子的专栏
12-12 8720
在spark中执行sql语句有时会出现IndexOutOfBoundsException的错误，如下： File "/opt/cloudera/parcels/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101/lib/spark2/python/lib/pyspark.zip/pyspark/sql/session.py", line 708, in sql...
hive添加字段后的查询异常ArrayIndexOutOfBoundsException
qq_30868737的博客
06-15 2760
hive添加字段 alter table ods_wsp_dw_fact_point add columns (ods_datecreated STRING COMMENT ‘ods数据创建时间’); 客户端查询报错 hue端查询报错 Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 解决方案： 执行sql前，
hive中的 数组越界异常 IndexOutOfBoundsException
sinat_27047149的博客
07-21 1万+
java.lang.RuntimeException: Hive Runtime Error while closing operators at org.apache.hadoop.hive.ql.exec.ExecMapper.close(ExecMapper.java:226) at org.apache.hadoop.mapred.MapRunner.run(MapRunner.jav
大数据问题排查系列 - HIVE踩坑记-HIVE-15642
热门推荐
明哥的IT随笔
08-24 2万+
前言大家好，我是明哥！本片博文是“大数据线上问题排查系列”大类别之一，讲述前段时间我司某产品在某券商遇到的一个问题及解决方案，其背后涉及到 hive 的一个 BUG,在 hive 3.0 ...
大数据路上的bug坑
NOT_GUY的博客
11-02 3890
1、[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.5:compile (default-compile) on project easyml-manage: Compilation failure: Compilation failure: [ERROR] /D:/gyl/gite...
hive执行sql异常 ------ java.lang.ArrayIndexOutOfBoundsException: 28
wflh323的专栏
02-24 5339
用户在集群上执行sql报如下异常： 2018-06-06 16:01:29,176 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive ...
HIVE执行过程中java.lang.ArrayIndexOutOfBoundsException【待解决】
zoe_ranxiaosu的博客
05-17 3032
HIVE执行过程中java.lang.ArrayIndexOutOfBoundsException
hive 分区表全量count(1)出现错误，单独查分区没问题
a312428841的博客
12-04 842
hive 分区表全量count(1)出现错误，单独查分区没问题 CDH5 中 hive1.1 版本，当修改表格的元数据信息后，使用ORC格式的文件与Hive的矢量化特性不兼容 ，需要先设置矢量化为false set hive.vectorized.execution.enabled=false; set hive.vectorized.execution.reduce.enabled=false; ...
hive 读取sparksql的orc文件报ArrayIndexOutOfBoundsException：6
wang972779876的博客
10-28 1921
报错日志如下 可以看出报错的地方再OrcFile的WriterVersion的from方法，定位代码发生在下面代码的values[val]代码段。values的值从代码可以看出values的数据应该为5，见下图代码 而传过来的val是6，向上看代码，version来源是文件的meta，应该是spark版本的原因导致hive不支持的version。 解决 修改OrcFile文件的WriterVersion的内部类的from方法： public static WriterVersio
hive2.1.1读取spark写入的orc:ORC split generation failed with exception:ArrayIndexOutOfBoundsException: 6
lixiaoksi的博客
06-19 8304
问题描述：使用spark读取kafka数据写入hive orc格式表时，数据能正确写入，但是当在hive客户端查询的时候出现错误 Failed with exception java.io.IOException:java.lang.RuntimeException: ORC split generation failed with exception: java.lang.ArrayIndexOutOfBoundsException: 6 cdh version：6.1.1 spark versio
ArrayIndexOutOfBoundsException-数组越界问题
清流的博客
04-15 8716
1.int []a = new int[10];    a.length = 10,a的最大下标为9    在进行循环输出时，循环控制部分应为i&lt;a.length 2.int []a = new int[10];  int []b = new int[10];        if(i&lt;L.length&amp;&amp;j&lt;R.length&amp;&amp;L[i]&lt;=R...
datax-＞hdfsreader-＞orc文件读取出错ArrayIndexOutOfBoundsException: 6
cclovezbf的博客
08-23 1964
真正的原因应该是hive写的时候采用的高版本 比如 我们cdp是hive3.1.1的 写orc文件的时候会有一个版本号， 比如我debug的时候发现cdh-hive2.1.1版本的orc文件都是 hive13083。这里我就要吐槽了，注意看这里很明显是一个记录hive或者orc版本的枚举，明显有个future就是为了应付后面的版本的升级 id 0123肯定是老版本了，4差不多是新版本，还有未来的版本，你这里这个from方法写的和屎一样，写个大于不好么。那个version.from写的垃圾，改下就好了呗。..
关于hive报错java.lang.IndexOutOfBoundsException
u013176920的博客
01-10 1128
我理解您这边在执行一个简单query的时候遇到了数组越界的问题。 hive (zba_dwa)&gt; select * from mid_dwa_v_d_cus_al_rns_encap_test where part_id=0 and day_id=28 and prov_id=011 limit 15; OK Failed with exception java.io.IOExcept...
【spark exception】org.apache.spark.SparkException java.lang.ArrayIndexOutOfBoundsException 造成数组越界
helloxiaozhe的博客
06-28 3671
【spark exception】org.apache.spark.SparkException java.lang.ArrayIndexOutOfBoundsException 造成数组越界 当执行以下spark-sql是时候 insert overwrite table hive_user_income_detail_daily partition (pday='20190620',i...
在搭建hive时碰到 org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException:。。
qq_44920169的博客
05-18 2643
当你安装完hive并启动hive时，发现报错 **Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient ** 这时解决的途径就是，在你的hive-site.xml中添加 <property> &
Caused by: org.apache.hadoop.hive.gl.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate
最新发布
01-10
### 解决Hive中 `Unable to instantiate` 的异常问题 遇到 `FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient` 错误通常意味着 Hive 无法实例化会话元存储客户端。这可能是由于多种原因引起的，包括但不限于配置不正确、依赖库缺失或版本兼容性问题。 #### 配置调整 一种常见的解决方案是进入 `hive/conf` 文件夹并编辑 `hive-site.xml` 文件。具体操作为注释掉可能导致冲突的参数设置[^4]： ```xml <!-- <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> --> ``` 另一种有效的方法是在 `hive-site.xml` 中添加特定属性来指定 Metastore URI: ```xml <property> <name>hive.metastore.uris</name> <value>thrift://hive服务器的IP地址:9083</value> </property> ``` 上述更改有助于确保 Hive 客户端能够正确连接到远程Metastore服务[^5]。 #### 数据库重置尝试 如果之前的操作未能解决问题，则可以考虑清理现有的 MySQL 元数据库 (metastore)，然后通过命令 `schematool -initSchema -dbType mysql` 来重新初始化它。不过需要注意的是，在执行此操作前应备份现有数据以防意外丢失。 #### 版本一致性检查 确认所使用的 Hadoop 和 Hive 组件之间的版本相互匹配也很重要。不同版本之间可能存在API变化或其他差异，这些都可能引发此类错误。因此建议查阅官方文档以获取推荐搭配列表，并据此调整环境中的软件版本[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值