怎样将文本文件导入impala中的分区表中

本文详细介绍了在IMPALA中创建无分区和有分区表的方法,并指导如何将文本文件数据导入到IMPALA表中,以及如何利用INSERT INTO...SELECT语句向分区表中插入数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、在impala中建立无分区的表,例如gxzl_kgx_drw_NP

create table if not exists gxzl_kgx_drw_NP (mat_track_no string,materialcode string,id double,defectid double,mainno string,unitno string,side string,x double,y double,defectclass string,defectclasscode string,imagefile string,mat_act_width double,mat_act_len double,prod_end_time_zd string,reccreatetime string,equipmentcode string,num double,seq double,len_sum bigint,len_tot bigint,x_sum bigint,y_sum bigint,z_sum bigint,x_drw double,y_drw double,z_drw double) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

2、在impala中建立需要的有分区的表,例如gxzl_kgx_drw

create table if not exists gxzl_kgx_drw (materialcode string,id double,defectid double,mainno string,unitno string,side string,x double,y double,defectclass string,defectclasscode string,imagefile string,mat_act_width double,mat_act_len double,prod_end_time_zd string,reccreatetime string,equipmentcode string,num double,seq double,len_sum bigint,len_tot bigint,x_sum bigint,y_sum bigint,z_sum bigint,x_drw double,y_drw double,z_drw double) **partitioned by (mat_track_no string)** ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

3、将文本文件插入到无分区表中

load data inpath '/user/gxzl_kgx_drw.txt' into table gxzl_kgx_drw_NP;

注:impala的load只能使用hdfs文件路径,如果你的数据放在本地上,要先上传到hdfs中。

4、利用insert into…select向分区表中插入数据

insert into table gxzl_kgx_drw PARTITION(mat_track_no) select materialcode,id,defectid,mainno,unitno,side,x,y,defectclass,defectclasscode,imagefile,mat_act_width,mat_act_len,prod_end_time_zd,reccreatetime,equipmentcode,num,seq,len_sum,len_tot,x_sum,y_sum,z_sum,x_drw,y_drw,z_drw,**mat_track_no** from gxzl_kgx_drw_NP; 

注:

对于动态分区,即未给PARTITION(mat_track_no)赋默认值,则定义的分区字段必须在 SELECT *所返回列的最后,这样就会自动按列表的最后字段做分区;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值