HIVE核心优化方案

目录

1.数据采样

2.join优化

3.Hive索引

4.数据倾斜

1.HIVE核心优化方案--数据采样

分桶表

分文件的, 在创建表的时候, 指定分桶字段, 并设置分多少个桶, 在添加数据的时候, hive会根据设置分桶字段 , 将数据划分到N个桶(文件)中, 默认情况采用HASH分桶方案 , 分多少个桶, 取决于建表的时候, 设置分桶数量, 分 了多少个桶最终翻译的MR也就会运行多少个reduce程序(HIVE的分桶本质上就是MR的分区操作).

作用

(1) 进行数据采样工作

(1.1) 当表的数据量比较庞大的时候, 在编写SQL语句后, 需要首先测试 SQL是否可以正常的执行, 需要在表中执 行查询操作, 由于表数据量比较庞大, 在测试一条SQL的时候整个运行的时间比较久, 为了提升测试效率, 可以整个表 抽样出一部分的数据, 进行测试

(1.2) 校验数据的可行性(质量校验)

(1.3) 进行统计分析的时候, 并不需要统计出具体的指标, 可能统计的都是一些相对性指标, 比如说一些比率(合 格率)问题, 此时可以通过采样处理

(2) 提升查询的效率(更主要是提升JOIN的效率) 可以减少JOIN次数, 从而提升效率

如何采样

• 采样函数: tablesample(bucket x out of y [on column])
• 使用位置:紧紧跟在表名的后面, 如果表名有别名, 必须放置别名的前面
• 说明: x: 从第几个桶开始进行采样; y: 抽样比例; column: 分桶的字段, 可以省略

2.HIVE核心优化方案--join优化

在reduce端Join操作, 存在那些弊端?

• 1- 可能会存在数据倾斜的问题 (某几个reduce接收数据量远远大于其他的reduce接收数据量)