Hive(Impala)命令

最新推荐文章于 2022-01-13 10:33:51 发布

Cheengvho

最新推荐文章于 2022-01-13 10:33:51 发布

阅读量475

点赞数

CC 4.0 BY-SA版权

分类专栏： Hive Impala HDFS Linux

本文链接：https://blog.youkuaiyun.com/m0_37890482/article/details/81868748

HDFS 同时被 3 个专栏收录

11 篇文章

订阅专栏

Linux

9 篇文章

订阅专栏

Hive

4 篇文章

订阅专栏

本文介绍如何在Hive与Impala中创建不同类型的表，包括基本表、Avro表、Parquet表及分区表，并演示了如何通过SQL语句进行数据导入和动态分区设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

新建表并从HDFS中导入数据：

CREATE EXTERNAL TABLE webpage
(page_id SMALLINT,
name STRING,
assoc_files STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LOCATION '/loudacre/webpage'

在Impala或者Hive中使用之前生成的、已放入HDFS的文件来创建AVRO表：

CREATE EXTERNAL TABLE accounts_avro
STORED AS AVRO
LOCATION '/loudacre/accounts_avro'
TBLPROPERTIES ('avro.schema.url'=
'hdfs:/loudacre/sqoop_import_accounts.avsc ')

根据已有的accounts_avro创建parquet格式表（hive中加external会报错，使用时可以去掉external）：

create external table accounts_parquet stored as parquet 
location '/loudacre/accounts_parquet/' as select * from accounts_avro;

创建分区表：

CREATE EXTERNAL TABLE accounts_by_areacode (
acct_num INT,
first_name STRING,
last_name STRING,
phone_number STRING)
PARTITIONED BY (areacode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION '/loudacre/accounts_by_areacode'

修改hive配置以支持动态分区（在Impala里面一般来说可以不用这部）：

hive> set hive.exec.dynamic.partition=true;
hive> set hive.exec.dynamic.partition.mode=nonstrict;

将accounts_avro表的数据写入：

INSERT INTO TABLE accounts_by_areacode 
	PATITIONED(areacode)
	SELECT acct_num, first_name, last_name, phone_number, SUBSTR(phone_number,1,3) AS areacode FROM accounts_avro;