[Hive]Hive使用指南五 客户端导出数据

本文介绍了使用Hive进行数据导出的三种方法:导出到本地文件系统、HDFS及另一个Hive表中。详细解释了不同版本Hive中列分隔符的变化,并提供了具体操作示例。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.youkuaiyun.com/SunnyYoona/article/details/52924452

根据导出的地方不一样,将这些方式分为三种:

  • 导出到本地文件系统中
  • 导出到HDFS中
  • 导出到Hive的另一个表中

1. 导出到本地文件系统中

INSERT OVERWRITE LOCAL DIRECTORY '/home/q/jifeng.si/data/client_behavior'
SELECT * FROM client_behavior WHERE dt = '2017-08-16' LIMIT 2000;

这条HQL的执行需要启用Mapreduce作业,运行完这条语句之后,将会在本地文件系统/home/q/jifeng.si/data/client_behavior目录下生成文件名称为000000_2的文件,这是由Reduce产生的结果,我们可以看看这个文件的内容:

ll /home/q/jifeng.si/data/client_behavior
total 536
-rw-r--r-- 1 wirelessdev wirelessdev 546233 Aug 17 19:46 000000_2

在Hive0.11.0版本之前,当用户将Hive查询结果输出到文件中时,用户不能指定列的分割符,默认为\x01:

cat /home/q/jifeng.si/data/client_behavior/000000_2 |awk -F"\x01" '{print $1}' | less
2017-08-16
2017-08-16
2017-08-16
2017-08-16
2017-08-16
2017-08-16
2017-08-16
...

在Hive0.11.0版本之后,引入了新特性,用户可以指定列和行的分隔符:

INSERT OVERWRITE LOCAL DIRECTORY '/home/q/jifeng.si/data/client_behavior'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
SELECT * FROM client_behavior WHERE dt = '2017-08-16' LIMIT 2000;

查看数据:

cat /home/q/jifeng.si/data/client_behavior/000000_2 | awk -F"\t" '{print $1}' | less
2017-08-16
2017-08-16
2017-08-16
2017-08-16
2017-08-16
...

2. 导出到HDFS中

导出到HDFS中,与导出到本地文件系统中思路一致,只是少了一个LOCAL关键字:

INSERT OVERWRITE DIRECTORY 'tmp/data_group/test/client_behavior'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
SELECT * FROM client_behavior WHERE dt = '2017-08-16' LIMIT 2000;

上面代码将会导出查询数据到HDFS的tmp/data_group/test/client_behavior目录下。

3. 导出到Hive的另一个表中

导出到Hive中的另一个表中,也是Hive的数据导入方式:

INSERT INTO client_behavior_copy
SELECT * FROM client_behavior WHERE dt = '2017-08-16' LIMIT 2000;

备注

如果想要导入数据到另一个表中,则这个表必须已经创建成功


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值