mapreduce在hive中执行成功，在beeline中执行失败的问题解决

最新推荐文章于 2024-03-19 10:14:37 发布
最新推荐文章于 2024-03-19 10:14:37 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： hive 文章标签： hive beeline
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wwyxg/article/details/46807761
本文探讨了在Hive中执行MapReduce任务时遇到的问题，具体为在beeline中执行失败的情况，并提供了加入hadoop用户名参数的解决方案。深入分析了问题可能的原因，涉及Hadoop和Hive的交互细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在hive中执行mapreduce执行成功，在beeline中执行失败，错误信息：

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=1)

解决方案如下：

在使用beeline命令的时候加入hadoop用户名参数

beeline -u jdbc:hive2://localhost:10000 -n "hadoop" -p "密码任意填"

问题是解决了，有谁知道更深层次的原因不，一起讨论。

 

Hive mapreduce job报错解决
涵sir的博客
07-05 2443
问题描述：使用beeline连接hiveserver2，将HDFS上的json格式数据导入到一个临时表，然后再通过insert into ... select ...将数据导入正式表中，但在这一步Hive报错，Error信息为：ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 详细报错如下: INFO : Completed compiling command.
MapReduce和Hive
Albert_ycl的博客
02-27 8245
1,MapReduce的原理，Wordcount的过程1.1,Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。1.2,对待大数据处理：分而治之,大数据的并行化计算1.3,不可分拆的计算任务或相互间有依赖关系的数据无法进行并...
hive启MapReduce失败
小小鱼
11-13 907
hive启MapReduce失败 一、首先排查hadoop日志IP:50070/logs/ 1.如果NN或SNN日志异常，一般需要重新格式化NN，删除tmp文件(就是删除镜像文件和日志文件，name里放的是edit_log和fsimage，data是数据文件，日志后面的时间戳和数据文件的时间戳对不上了就会出错，删除之后里面的文件都没了，并且权限也恢复为默认的) 2.然后进入sbin/hdfs namenode -format格式化 3.授权：hdfs dfs -chmod -R 777 / 4.重新启动服务
处理hive中hiveserver2启动后，beeline连接出现的“拒绝连接” # 谭子
tanz10086的博客
11-30 9077
处理hadoop中hive无法连接hiveserver2问题。Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop1:10000 User: andy is not allowed to impersonate andy (state=08S01,code=0)
beeline连接hive server遭遇MapRedTask (state=08S01,code=1)错误
热门推荐
白乔专栏
11-15 2万+
采用beeline连接hive server是遭遇到如下错误：5: jdbc:hive2://bluejoe0/default> select * from hive_triples where subject='' limit 1; Error: Error while processing statement: FAILED: Execution Error, return code 1 fr
Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hado
qq_46402333的博客
02-27 2万+
错误：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2) 在hive上执行hql语句： 报错如下： 解决方案：在yarn-site.xml 文件中...
hive执行计划可视化工具
05-31
5. **资源管理**：显示Hive如何分配资源（如MapReduce或Tez任务）来执行查询，帮助管理员理解资源使用情况，以便进行更有效的集群管理。 在标签中提到的“软件/插件”，暗示可能有多种不同的实现方式。例如： - **...
beeline执行sql语句_由“Beeline连接HiveServer2后如何使用指定的队列（Yarn）运行Hive SQL语句”引发的一系列思考...
weixin_30486089的博客
12-23 671
背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用Hive SQL构建，分为两种类型：手动任务(临时分析需求)、调度任务(常规分析需求)，两者均通过我们的Web系统进行提交。以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列，为了避免两种类型的任务之间相互受影响以及并行任务数过多导致“hive”队列资源紧张，我们在调度系统中构建了一个任务缓冲...
Hive执行复杂查询突然卡住不动解决办法
zp17834994071的博客
09-02 7578
有时使用hive进行一般的查询操作时，执行的很快，但是一遇到多表复杂查询就会出一个问题，会发现程序一直卡着不动了，也不报错，开始以为是mapreduce计算的慢，所以程序执行有点卡断，可是过了好一会还是卡着不动，这就有点无语了，最后没办法只有强制kill. 查看日志没有报错. 查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死. 查询得知是因为yarn的物理内存过少,建议配置为自己的电脑运行内存大小或二倍运行内存大小. 这时时候就要到hadoop的安装目录下的/etc
大数据-数仓-数仓工具：Hive（离线数据分析框架）【替代MapReduce编程；插入、查询、分析HDFS中的大规模数据；机制是将HiveSQL转化成MR程序；不支持修改、删除操作；执行延迟较高】
u013250861的博客
01-14 1058
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。Hive数据仓库⎩⎨。
hive sql转mapreduce JAVA&beeline 自定义函数
一只小辣鸡
08-22 450
检验过程：explain JAVA&beeline 步骤： - cd $HIVE_HOME/hiveserver2 –启动hive服务 《java操作hive中的常用问题》 - IntelliJ IDEA - 加入hive依赖包 mvnrepository.com -> jdbc -> 版本 e.g. <dependency> <g...
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hado
金亮的博客
07-13 1万+
关于hive中撤销用户权限的问题
Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive
qq_39767779的博客
07-10 1万+
org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.service.cli....
大数据框架hive——创建表，创建分区表；设置严格模式；建立外部表与分区表；hive与Mysql的区别；启动HiveServer2，使用Beeline客户端连接hive；使用fecthTask
蚂蚁
07-09 992
hive常见创建表方式 查看表结构详情： desc formatted 表名 方式一：create table 指定字段信息 方式二：CTAS 通过子查询创建表 create table as Select 方式三：create like 创建类似表 create table new_table like...
hive执行出现Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apa
qq_43193797的博客
04-06 6355
Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2) set hive.exec.dynamic.partition.mode=nonstrict; s...
hive-spark: Error while processing statement: FAILED: Execution Error, return code 30041 from org.ap
TzBugs的博客
08-31 6426
今天用hive执行hql时出现错误: Error: Error while processing statement: FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 44e53d61-a15e-4d01-864c-099e6754c541 (state=42000,
HIVE报错：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apac
koksir的博客
02-10 5811
原因：从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。 解决：加内存 在hadoop的配置文件mapred-site.xml中设置map和reduce任务的内存配置如下：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改) <property> 　　<name>mapreduce.map.memory.mb</name> 　　<value>1536</value> </prope
HiveServer2中使用jdbc客户端用户运行mapreduce
weixin_34081595的博客
04-08 595
最近做了个web系统访问hive数据库，类似于官方自带的hwi、安居客的hwi改进版和大众点评的polestar(github地址)系统，但是和他们的实现不一样，查询Hive语句走的不是cli而是通过jdbc连接hive-server2。为了实现mapreduce任务中资源按用户调度，需要hive查询自动绑定当前用户、将该用户传到yarn服务端并使map...
cdp集群中hive插入语句任务执行报错
最新发布
M_red的博客
03-19 841
编译语句时出错：失败：执行错误，从org.apache.hadoop.hive.ql.exec.tez返回代码2。Vertex的任务资源超出了集群容器的能力，Vertex=Vertex_1710760432_005_1_00[映射1]，请求的任务资源=＜memory:4096，vCores:1＞，集群最大容器容量=＜memory:3348，vCore:4＞最近新搭建了一套cdp测试集群，在hue界面测试hive语句时，建表正常，但是出现插入数据失败问题。修改后，重启集群使配置生效。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值