HIVE之优化

HIVE优化

---

1、表和sql语句的优化

思想：
大表拆分成小表，分区表，（动态分区）有可能产生大量的分区，外部表（保证数据安全），临时表是将表的数据清洗，获得想要的字段。

2、MR优化

思想：
HIVE中底层运行的是MR程序，所以也要对MR进行优化。

并行执行：
在map运行过程中，有的时候需要存在依赖关系。
例如：做单词统计，一个map做完单词统计，下一个map的输入正好是上一个map的输出，这时候就是一个map依赖于另一个map的时候。
在很多时候map task之间是没有关系的，那么就可以一起并行运行。Map的并行功能默认是关闭的，首先先开启并行功能：

set hive.exec.parallel=true;

设置并行执行的线程个数：

set hive.e