Error: org.apache.hive.service.cli.HiveSQLException

最新推荐文章于 2025-02-12 17:43:38 发布

原创最新推荐文章于 2025-02-12 17:43:38 发布 · 4.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop

hive问题专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了在使用Hadoop和Hive过程中遇到的HiveSQLException错误，并提供了具体的解决方案。通过在hadoop配置文件中添加特定参数，可以有效解决执行MapReduce任务时出现的错误。

问题：
Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

解决：
在hadoop/etc/hadoop/hdfs-site.xml加入以下配置：
在这里插入图片描述
重启Hadoop，问题解决！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Mokler

关注关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark-thrift-server 报错 Wrong FS

以梦为马|越骑越傻

12-21

1485

Error: org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:java.lang.IllegalArgumentException: Wrong FS:

beeline执行insert命令时报错Permission denied: user=anonymous, access=EXECUTE, inode="/tmp/hadoop-yarn":xiao

Joy

08-19

3937

0: jdbc:hive2://localhost:10000/cr> insert into student values(4,'sunny'); WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different ...

参与评论您还未登录，请先登录后发表或查看评论

hive 桶表插入数据方式 insert into overwrite

hello_java_lcl的博客

11-01

2137

因为数据异常，需要在hive桶表中插入历史分区数据，一开始的SQL： insert overwrite table桶表partition(partition='2020-10-30') select * from分区表twhere t.partition='2020-10-30' 报错： org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticExce...

Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execu

热门推荐

初级程序员

11-15

1万+

hive sql执行join语句报错 Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Job ...

org.apache.hive.service.cli.HiveSQLException: Error while processing statement:

徐磊的博客

03-12

1万+

详细错误 Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask 简单解决方法 hive重启 ...

报错：org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.sql.AnalysisE

song的博客

12-09

825

报错：org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.sql.AnalysisE

Hive 报错

夏革

05-05

3047

1. 错误信息如下： org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache....

Exception in thread “main“ java.sql.SQLException: org.apache.hive.service.cli.HiveSQLException: Erro

weixin_45955039的博客

07-09

2268

Exception in thread “main” java.sql.SQLException: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.service.cli.operat

org.apache.hive.service.cli.HiveSQLException: Error running query: java.lang.OutOfMemoryError: PermG

warrah 南极狼

01-19

6697

在hive中执行count时，报下面的错误2018-01-19T14:22:01,035 ERROR [HiveServer2-Background-Pool: Thread-67] ql.Driver: FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermG

Caused by: org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.Runti

swing2008的专栏

11-26

1万+

Caused by: org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access

Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: java.io.IOException: org.

qq_34896163的博客

12-11

5451

在hive命令行中执行 hive和hbase整合的表 hhh_tj_atmosphere_history 可以正常执行，但是通过java jdbc hiveserver2 就不可以（通过hiveserver2访问hive自建表就可以，就是不能访问整合后的表）。 Running:select * from hhh_tj_atmosphere_history 执行“select * query...

hive删表时报错 Error: Error while processing statemen

weixin_43697701的博客

03-04

1626

今天在hive中删分区表时候报错 Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. null (state=08S01,code=1) 原因是任务申请的资源超上线了，解决办法是减少删除的分区数 ...

org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.RuntimeException

T_Y_F_的博客

01-27

2581

org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.RuntimeException

hive插入报Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hive

登峰造极胡子球手

05-10

7687

insert overwrite table `itcast_dw`.`dim_goods` select goodsId, goodsSn, productNo, goodsName, goodsImg, shopId, goodsType, marketPrice, shopPrice, warnStock, goodsStock, goodsUnit, goodsTips, isSale, isBest, isHot, isNew, isRecom, goodsCatIdPath, goodsCatI

报错 org.apache.hadoop.hive.ql.metadata.HiveException: Exception when loading 1 in table

weixin_44363315的博客

12-02

4360

org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Exception when loading 1 in table 查询正常,但是insert overwrite 到表时,报这个错.查看output发现是文件系统关闭造成的,重启hadoop,.

Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive

qq_39767779的博客

07-10

1万+

org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.service.cli....

HiveSQLException: Error while compiling statement: No privilege 'Create' found for outputs{database}

努力的凹凸曼的博客

05-24

1万+

今天用Hive的JDBC实例时出现了HiveSQLException: Error while compiling statement: No privilege ‘Create’ found for outputs { database:default }的错误，日志如下。 **org.apache.hive.service.cli.HiveSQLException: Error whil...

Original Exception : org.apache.hive.service.cli.HiveSQLException: java.io.IOException: org.apache.p

iFTYneskr的博客

02-12

241

这个是hive的parquet文件转换时有问题。

hive报错

成哥万岁

08-20

1504

执行hive语句报下面错误 Exception in thread "Thread-150" java.lang.RuntimeException: Error while reading from task log url at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProce

Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwx------

最新发布

06-01

### 解决Hive SQL执行错误：Spark会话创建失败和权限问题 #### 1. Spark会话创建失败的问题分析当Hive使用Spark作为执行引擎时，如果出现`Failed to create spark client.`错误，通常与以下因素相关： - Hive未正确配置为使用Spark作为执行引擎。确保参数`hive.execution.engine`设置为`spark`[^1]。 - `spark.home`未正确指向Spark安装路径，导致Hive无法找到Spark客户端库[^2]。 - Spark集群不可用或资源不足，例如YARN中没有足够的资源分配给Spark任务[^3]。 #### 2. 权限问题的分析在Hive执行过程中，如果遇到`Permission denied: user=anonymous, access=EXECUTE`错误，可能是由于以下原因： - HDFS上的`/tmp`目录权限不足，当前用户（如`anonymous`）无法访问或执行文件操作[^2]。 - Hive用户未正确映射到HDFS用户组，或者HDFS的安全策略限制了用户的访问权限。 #### 3. 解决方案 ##### 配置Hive以支持Spark 确保Hive配置文件中包含以下参数，并根据实际情况调整： ```properties hive.execution.engine=spark spark.home=/path/to/spark ``` 此外，检查是否启用了正确的日志级别以捕获更多调试信息： ```sql SET hive.root.logger=DEBUG,console; ``` ##### 检查HDFS权限验证HDFS上的`/tmp`目录权限，确保Hive用户具有适当的访问权限： ```bash hdfs dfs -chmod -R 777 /tmp hdfs dfs -chown -R hive:hadoop /tmp ``` 如果Hive运行在Kerberos环境中，确认Kerberos票据已正确获取并刷新[^2]。 ##### 验证Spark集群状态通过以下命令检查Spark集群是否正常运行： ```bash spark-submit --version yarn application -list ``` 确保YARN中有足够的资源分配给Spark任务，并且没有其他任务占用所有资源[^3]。 ##### 示例代码：测试Hive与Spark集成以下是一个简单的Hive查询，用于测试Spark执行引擎是否正常工作： ```sql SET hive.execution.engine=spark; SELECT COUNT(*) FROM your_table; ``` 如果查询成功执行，则表明Hive与Spark的集成配置正确。 #### 4. 常见错误排查 - 如果仍然报错`Failed to execute spark task`，检查Hive日志文件，重点关注`SessionHiveMetaStoreClient`初始化阶段的异常堆栈信息[^1]。 - 确保Hive和Spark的版本兼容性，避免因依赖冲突导致的问题[^2]。 --- ###