hive入门之分桶表<5>

本文介绍Hive中分桶技术的概念及其在数据管理中的应用,包括如何创建分桶表、添加数据到桶表及进行抽样查询。分桶能够提升大数据集的查询效率,通过将数据集分解成更易管理的部分,实现优化查询。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区。对于一张表或者分区,Hive 可以进一步组织成桶,也就是更为细粒度的数据范围划分。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。
分区针对的是数据的存储路径;分桶针对的是数据文件。

创建分桶表的步骤:

1. 设置强制分桶

如果文件过小,即使创建了分桶表也不能进行分桶,所以需要强制设置按照要求分桶,还要设置reduce按照默认区分。

set hive.enforce.bucketing=true;
set mapreduce.job.reduces=-1;

2.创建分桶表

create table stu_buck(id int, name string)
clustered by(id) 
into 4 buckets
row format delimited fields terminated by '\t';

上面是按照字段id进行分桶,桶的个数是4个。
在这里插入图片描述

3.添加数据到桶表

由于分桶的条件是按照创建表的时候的clustered by后面的字段进行哈希计算,所以添加数据的时候需要走mapreduce程序,普通的load方法不能进行分桶。

  • 创建一个相似的表,不分桶:
create table stu(id int, name string)
row format delimited fields terminated by '\t';

在这里插入图片描述

  • 上传数据到stu表:
load data local inpath '/home/hive/student.txt' into table stu;

在这里插入图片描述

  • 通过子查询的方式导入数据到分桶表:
insert into table stu_buck select id, name from stu;

在这里插入图片描述在这里插入图片描述

4.分桶抽样查询

对于非常大的数据集,有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。
查询表stu_buck中的数据。

select * from stu_buck tablesample(bucket 1 out of 4 on id);

注:tablesample是抽样语句,语法:TABLESAMPLE(BUCKET x OUT OF y) 。
y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。例如,table总共分了4份,当y=2时,抽取(4/2=)2个bucket的数据,当y=8时,抽取(4/8=)1/2个bucket的数据。
x表示从哪个bucket开始抽取,如果需要取多个分区,以后的分区号为当前分区号加上y。例如,table总bucket数为4,tablesample(bucket 1 out of 2),表示总共抽取(4/2=)2个bucket的数据,抽取第1(x)个和第3(x+y)个bucket的数据。
注意:x的值必须小于等于y的值,否则
FAILED: SemanticException [Error 10061]: Numerator should not be bigger than denominator in sample clause for table stu_buck
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值