Hive的分区将数据按规律划分为多个区域，以优化查询效率，减少NameNode的压力。分区类型包括静态、动态和混合。另一方面，分桶是基于列的哈希值对数据进行更细粒度的划分，有助于加速连接操作并避免笛卡儿积。通过关联字段进行分桶，可以优化表的关联查询性能。
分区
hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力
分区的目的是提升查询效率,将原来的文件进行多层次的管理
分区有三种,静态分区,动态分区,混合分区
关键字:partitioned by(字段)
分桶
分桶是对一个表或者一个分区进行更加细粒度的划分
Hive会对分桶的那一列按照哈希值%桶的数量分发到各个桶文件中
在查询的时候就会直接去读取桶中的数据,大大提高效率,如果俩个表关联,并且按照关联字段进行分桶,那么这俩个表进行关联的时候就不会产生笛卡儿积,直接通过桶中的数据去关联
关键字:clustered by(字段)
分区是对字段(值)的分区,分桶是对值的hash值的分桶
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
