调用hive查询数据时报错
1.job太大集群资源不够
2.hdfs目录权限不够,执行sql的时候需要创建目录
3.引擎故障:tez引擎不行
4.自定义函数,引用jar包问题
原因1:job太大集群资源不够
解决方案:
job太大集群资源不够
1.我是多个任务一起运行导致的资源不足,等待其他任务结束,重启启动任务,问题解决
原因2:hdfs目录权限不够,执行sql的时候需要创建目录
解决方案:将sql设计到的hdfs目录赋权给执行sql的用户
原因3:引擎故障:tez引擎不行
解决方案:
更换执行引擎为mr
set hive.execution.engine=mr;
默认引擎为tez
在执行Hive查询时遇到多个问题,包括资源不足、目录权限问题、Tez引擎故障和自定义函数的jar包引用问题。针对这些问题,解决方案包括调整任务执行时间以避免资源冲突,为HDFS目录授权,切换到MR引擎,以及在Kettle中手动添加自定义函数的jar包。
订阅专栏 解锁全文
2838

被折叠的 条评论
为什么被折叠?



