Hive 递归关联 HDFS多层级目录

最新推荐文章于 2021-09-08 22:23:20 发布

原创

最新推荐文章于 2021-09-08 22:23:20 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hive #HDFS #多层级目录 #分区

本文介绍了如何使用Hive进行递归创建表，并关联HDFS上的多层级目录作为分区，详细阐述了创建表及分区挂载数据的过程。

Hive 递归创建表关联HDFS多层级目录

创建表并分区

set hive.mapred.supports.subdirectories=true;
set mapreduce.input.fileinputformat.input.dir.recursive=true;

DROP TABLE `test`;
CREATE EXTERNAL TABLE `test`
(`column01` string
  , `column02` string
  , `column03` string
  , `column04` string)
PARTITIONED by(year STRING,month STRING ,day STRING )
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
stored as TEXTFILE;

分区挂载数据

ALTER TABLE test ADD IF NOT EXISTS
PARTITION(YEAR = 2016,MONTH=06,DAY=01) LOCATION '/xx/xx/xx/xx/2016/06/01'
PARTITION(YEAR = 2016,MONTH=06,DAY=02) LOCATION '/xx/xx/xx/xx/2016/06/02'
PARTITION(YEAR = 2016,MONTH=06,DAY=03) LOCATION '/xx/xx/xx/xx/2016/06/03'
PARTITION(YEAR = 2016,MONTH=06,DAY=04) LOCATION '/xx/xx/xx/xx/2016/06/04';

$∗∗需要注意的是可以通过以上方式添加多个分区路径↑↑↑∗∗\color{red}{**需要注意的是可以通过$