本文探讨了Hive在大数据处理中的性能优化技巧，包括通过分区管理减少HDFS全盘扫描，利用反标准化优化磁盘IO，以及如何通过一次查询向多表导出数据，最后介绍了使用Hive join提高ETL数据的唯一性。
1 使用分区管理HDFS文件
分区避免查询数据进行HDFS全盘扫描，一个表分区数量不要太多（导致每一个分区创建一个task，每一个task是一个jvm实例），没个分区中的文件尽量大（与HDFS数据块保持一致，默认128M）
2 hive反标准化
传统的RDBMS有标准化，例如唯一键、主键等；
hive没有主键、唯一键的概念，目标优化磁盘驱动的IO性能
3 hive允许从一个表中同时向多张表中导出数据
from 源表
insert overwrite 表1 where 从源表中获取符合条件记录
insert overwrite 表2 where 从源表中获取符合条件记录
insert overwrite 表3 where 从源表中获取符合条件记录
扫一扫
528
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
