本文介绍如何在Hive中创建桶表，并通过设置MapReduce任务数量来优化数据处理流程。桶表能够提高查询效率，而合理的Map任务数量则能确保数据处理既不过于冗长也不过于密集。
桶表:桶表是文件。
--------------
//创建桶表
CREATE TABLE buck
(
id int,
name string ,
age int
)
CLUSTERED BY (id) INTO 3 BUCKETS
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
//桶的数量确定标准
避免桶内的数据量过大或者过小，一般以数据块的2倍为宜。
//设置map个数和强行分桶
set map.reduce.tasks = 2;
set hive.enforce.bucketing = true;
--------------
//创建桶表
CREATE TABLE buck
(
id int,
name string ,
age int
)
CLUSTERED BY (id) INTO 3 BUCKETS
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
//桶的数量确定标准
避免桶内的数据量过大或者过小，一般以数据块的2倍为宜。
//设置map个数和强行分桶
set map.reduce.tasks = 2;
set hive.enforce.bucketing = true;
扫一扫
1685
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
