Hive 如何设置map和reduce个数

#Hive常见故障 #大数据 #生产环境真实案例 #Hive #离线数据库 #整理 #经验总结

说明：此篇总结hive常见故障案例处理方案 结合自身经历 总结不易 +关注 +收藏 欢迎留言

更多Hive案例汇总方案 解决方案：请往下翻

Hive 如何设置map和reduce个数

解决方案

• map个数控制。

  map数无法直接控制，需通过设置每个map加载数据量来控制map数（以下命令中的为默认值256M）：

  set mapreduce.input.fileinputformat.split.maxsize=*256000000*;

• reduce个数控制(以下命令中的值为默认值，默认不设置个数)

  set mapred.reduce.tasks=-1;

  设置每个reduce处理的数据量（默认值为256M）：

  set hive.exec.reducers.bytes.per.reducer=*256000000*;

        说明：参数建议只对单个session设置，示例中参数设置只对当前session有效。

更多Hive案例汇总方案 (点击跳转) ：

Hive常见故障多案例维护宝典 --项目总结(宝典一)

Hive常见故障多案例维护宝典 --项目总结(宝典二)

目录内容如下：

架构概述

【1】参数及配置类常见故障

• 执行set命令的时候报cannot modify xxx at runtime.

• 怎样在Hive提交任务的时候指定队列？

• 如何在导入表时指定输出的文件压缩格式

• desc描述表过长时，无法显示完整

• 增加分区列后再insert数据显示为NULL

• 如何设置hive on spark 模式及提交任务到指定队列

• hive on spark应用如何设置spark应用的参数？

• 如何设置map和reduce个数

• MapReduce任务内存溢出问题处理

• 动态分区方式插入数据，创建过多文件/分区

• mapjoin相关参数

• Tez引擎和MapReduce引擎执行结果不同

---

【2】任务运行类常见故障

• Hive任务运行过程中失败，重试成功

• 执行select语句报错

• drop partition操作有大量分区时操作失败

• localtask启动失败

• 切域后Hive二次开发样例代码报错

• 输入文件数超出设置限制导致任务执行失败

• 任务执行中报栈内存溢出导致执行任务失败

• 对同一张表或分区并发写数据导致任务失败

• Hive任务失败，报没有HDFS目录的权限

• Metastore连接数过高导致hive任务执行慢或任务失败

• bonecp参数含义解析

• 连接Metastore超时，导致任务失败

• 数据查询异常，部分字段为Null

• return code 1:unable to close file

• Tez和MapReduce引擎下，Hive进行join的结果不一致

• Hive表里有数据count无结果

• hive-sql报values太长

• 执行hive-sql插入数据重复

• tez引擎写入的数据，切换mr引擎后查询不出来

---

【3】SQL使用类常见故障

• join中非常规join on写法导致任务运行慢

• 视图中多表union all，视图外指定分区查询慢

• over（partition by orde by）使用同一字段，MapReduce任务运行慢

• join on条件中使用or

• SQL扫描分区过多，元数据SQL拼接过长报错

• join表重复数据多，任务运行慢

• SQL过于复杂，嵌套过多，导致HiveSQL编译时间过长

• join on中加判断，导致MapReduce任务运行慢

• join on中带不等于条件，导查询的数据都为Null

• 特殊写法导致大数据量只有一个reduce

• cascade级联修改表字段

• alter table drop partition删除大量分区慢、报错

• 大分区表查询不带分区，查询慢

• 两表关联，关联字段类型不一致

• left join右表分区条件写在where后，查询慢

• SparkSQL嵌套过多，大量case when

• SparkSQL没有group by的情况下使用having

• 设置自定义参数出现递归调用

• 视图存在全表扫或者大量分区查询

• 大量使用with as并在SQL中多处调用

• insert into table values形式插入大量数据

• 多表关联过滤条件中按in的子查询进行过滤

• string类型字段过滤不加引号

• 使用order by null

• 使用浮点数进行运算

---

最后

谢谢大家 @500佰