将hive查询到的结果插入动态分区表

如题,将hive查询到的结果插入动态分区表时,可以指定其中一列或几列为分区字段,剩下的几列为表中内容。

首先,需要在查询开始进行若干设置:

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
set io.sort.mb=1024;


然后

INSERT OVERWRITE TABLE T PARTITION (ds='20170524155200', hr)
SELECT 
     key
   , value
   , ds
   , hr 
FROM oldtable 
WHERE 
  ds IS NOT NULL
  AND hr>10
;

另外,向hive中传参可以采用如下方式:

myconf='20170524175200'

hive -e  "INSERT OVERWRITE TABLE T PARTITION (ds='${myconf}', hr)
SELECT key, value,  hr FROM srcpart WHERE ds is not null and hr>10;"

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值