HIVE运行卡死没反应的亲测解法

博客讲述执行Hive插入语句时卡顿,手动杀死且HDFS无数据插入成功的问题。尝试重启Hadoop和Yarn、检查端口占用、环境变量配置及查看日志等方法均未解决,最终通过在Hive中执行三条指令解决问题,完成插入和MapReduce。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Query ID = root_20230914161708_a293bd1f-62bb-4a28-a477-97f71fc745b4
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Interrupting... Be patient, this might take some time.

当执行一条插入语句时,一直卡着,卡在这一步,没有任何反应只能自己手动杀死,并且查看hdfs也没有数据插入成功。找了很多都没有得到解决。

尝试过的解决方案有:

1   重启hadoop和yarn

2   查看是否是端口被占用netstat –anp | grep 8033

3   检查环境变量是否配置错误

4   查看hive和yarn的日志

这些方法都没有解决,可以参考一下

最后解决的方法是

进入到hive后执行这3条指令

hive (default)> set hive.exec.mode.local.auto=true;
hive (default)> set hive.exec.mode.local.auto.inputbytes.max=50000000;
hive (default)> set hive.exec.mode.local.auto.input.files.max=5;
执行完再执行插入语句

完成插入,跑完MapReduce

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值