mapreduce在hive中执行成功，在beeline中执行失败的问题解决

最新推荐文章于 2025-09-19 23:21:53 发布

原创最新推荐文章于 2025-09-19 23:21:53 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive beeline

hive 专栏收录该内容

1 篇文章

订阅专栏

本文探讨了在Hive中执行MapReduce任务时遇到的问题，具体为在beeline中执行失败的情况，并提供了加入hadoop用户名参数的解决方案。深入分析了问题可能的原因，涉及Hadoop和Hive的交互细节。

在hive中执行mapreduce执行成功，在beeline中执行失败，错误信息：

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=1)

解决方案如下：

在使用beeline命令的时候加入hadoop用户名参数

beeline -u jdbc:hive2://localhost:10000 -n "hadoop" -p "密码任意填"

问题是解决了，有谁知道更深层次的原因不，一起讨论。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

无知无欲无为

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

优化 | Hive 本地执行模式

SmartSi

08-14

906

Hive本地执行模式是一种优化小数据查询性能的轻量级方案。当满足输入数据量小于128MB且任务数少于4个时，Hive可自动在单机执行查询，避免了启动分布式MapReduce作业的系统开销。通过配置hive.exec.mode.local.auto等参数可启用该模式，测试显示本地模式查询耗时仅7.5秒，而远程模式需要89秒。本地模式特别适合处理小规模数据查询，能显著减少资源占用和执行时间。该功能自Hive 0.7.0版本引入，可通过临时SQL设置或修改hive-site.xml实现永久配置。

Hive执行复杂查询突然卡住不动解决办法

zp17834994071的博客

09-02

7654

有时使用hive进行一般的查询操作时，执行的很快，但是一遇到多表复杂查询就会出一个问题，会发现程序一直卡着不动了，也不报错，开始以为是mapreduce计算的慢，所以程序执行有点卡断，可是过了好一会还是卡着不动，这就有点无语了，最后没办法只有强制kill. 查看日志没有报错. 查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死. 查询得知是因为yarn的物理内存过少,建议配置为自己的电脑运行内存大小或二倍运行内存大小. 这时时候就要到hadoop的安装目录下的/etc

1 条评论您还未登录，请先登录后发表或查看评论

Hive mapreduce job报错解决

涵sir的博客

07-05

2515

问题描述：使用beeline连接hiveserver2，将HDFS上的json格式数据导入到一个临时表，然后再通过insert into ... select ...将数据导入正式表中，但在这一步Hive报错，Error信息为：ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 详细报错如下: INFO : Completed compiling command.

hive启MapReduce失败

小小鱼

11-13

946

hive启MapReduce失败一、首先排查hadoop日志IP:50070/logs/ 1.如果NN或SNN日志异常，一般需要重新格式化NN，删除tmp文件(就是删除镜像文件和日志文件，name里放的是edit_log和fsimage，data是数据文件，日志后面的时间戳和数据文件的时间戳对不上了就会出错，删除之后里面的文件都没了，并且权限也恢复为默认的) 2.然后进入sbin/hdfs namenode -format格式化 3.授权：hdfs dfs -chmod -R 777 / 4.重新启动服务

Hive动态分区错误解决方案

热门推荐

白乔专栏

11-15

2万+

采用beeline连接hive server是遭遇到如下错误：5: jdbc:hive2://bluejoe0/default> select * from hive_triples where subject='' limit 1; Error: Error while processing statement: FAILED: Execution Error, return code 1 fr

Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hado

qq_46402333的博客

02-27

2万+

错误：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2) 在hive上执行hql语句：报错如下：解决方案：在yarn-site.xml 文件中...

hive执行计划可视化工具

05-31

5. **资源管理**：显示Hive如何分配资源（如MapReduce或Tez任务）来执行查询，帮助管理员理解资源使用情况，以便进行更有效的集群管理。在标签中提到的“软件/插件”，暗示可能有多种不同的实现方式。例如： - **...

beeline执行sql语句_由“Beeline连接HiveServer2后如何使用指定的队列（Yarn）运行Hive SQL语句”引发的一系列思考...

weixin_30486089的博客

12-23

717

背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用Hive SQL构建，分为两种类型：手动任务(临时分析需求)、调度任务(常规分析需求)，两者均通过我们的Web系统进行提交。以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列，为了避免两种类型的任务之间相互受影响以及并行任务数过多导致“hive”队列资源紧张，我们在调度系统中构建了一个任务缓冲...

hive sql转mapreduce JAVA&beeline 自定义函数

一只小辣鸡

08-22

462

检验过程：explain JAVA&beeline 步骤： - cd $HIVE_HOME/hiveserver2 –启动hive服务《java操作hive中的常用问题》 - IntelliJ IDEA - 加入hive依赖包 mvnrepository.com -> jdbc -> 版本 e.g. <dependency> <g...

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hado

金亮的博客

07-13

1万+

关于hive中撤销用户权限的问题

Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive

qq_39767779的博客

07-10

1万+

org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.service.cli....

大数据框架hive——创建表，创建分区表；设置严格模式；建立外部表与分区表；hive与Mysql的区别；启动HiveServer2，使用Beeline客户端连接hive；使用fecthTask

蚂蚁

07-09

1014

hive常见创建表方式查看表结构详情： desc formatted 表名方式一：create table 指定字段信息方式二：CTAS 通过子查询创建表 create table as Select 方式三：create like 创建类似表 create table new_table like...

hive执行出现Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apa

qq_43193797的博客

04-06

6397

Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2) set hive.exec.dynamic.partition.mode=nonstrict; s...

hive-spark: Error while processing statement: FAILED: Execution Error, return code 30041 from org.ap

TzBugs的博客

08-31

6544

今天用hive执行hql时出现错误: Error: Error while processing statement: FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 44e53d61-a15e-4d01-864c-099e6754c541 (state=42000,

HIVE报错：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apac

koksir的博客

02-10

5842

原因：从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。解决：加内存在hadoop的配置文件mapred-site.xml中设置map和reduce任务的内存配置如下：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改) <property> 　　<name>mapreduce.map.memory.mb</name> 　　<value>1536</value> </prope

HiveServer2中使用jdbc客户端用户运行mapreduce

weixin_34081595的博客

04-08

623

最近做了个web系统访问hive数据库，类似于官方自带的hwi、安居客的hwi改进版和大众点评的polestar(github地址)系统，但是和他们的实现不一样，查询Hive语句走的不是cli而是通过jdbc连接hive-server2。为了实现mapreduce任务中资源按用户调度，需要hive查询自动绑定当前用户、将该用户传到yarn服务端并使map...

cdp集群中hive插入语句任务执行报错

M_red的博客

03-19

951

编译语句时出错：失败：执行错误，从org.apache.hadoop.hive.ql.exec.tez返回代码2。Vertex的任务资源超出了集群容器的能力，Vertex=Vertex_1710760432_005_1_00[映射1]，请求的任务资源=＜memory:4096，vCores:1＞，集群最大容器容量=＜memory:3348，vCore:4＞最近新搭建了一套cdp测试集群，在hue界面测试hive语句时，建表正常，但是出现插入数据失败问题。修改后，重启集群使配置生效。

Apache Web日志在Hive中的统计分析实验数据

由于Web日志通常是海量且不断增长的非结构化或半结构化数据，传统数据库难以高效处理，而Hive结合MapReduce或Tez执行引擎，能够实现对TB级甚至PB级日志数据的批处理分析。因此，将Apache日志导入Hive表后，可以方便...