hive查询数据导出到本地目录或hdfs的方法

最新推荐文章于 2025-03-17 13:42:39 发布

AI_skynet

最新推荐文章于 2025-03-17 13:42:39 发布

阅读量6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hive 导出数据 hdfs 文件系统 hadoop

本文链接：https://blog.youkuaiyun.com/xinganshenguang/article/details/53301693

hadoop 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了如何使用Hive将查询结果导出到本地文件系统和HDFS。通过设置不同的字段分隔符，可以自定义数据导出格式。例如，可以使用' '作为字段分隔符进行导出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

　一、导出到本地文件系统

　　
hive> insert overwrite local directory '/home/mydir/mydir'
    > select * from test;

　二、导出到HDFS中

hive> insert overwrite directory '/home/mydir/mydir'
    > select * from test;

这样导出的文件默认是以^A（\x01）符号做分割的

例如

15天到的快递吗^A2^A2016-11-16 12:44:00
欧洲地图高清中文版^A1^A2016-11-16 12:03:57
利澳娱乐线上赌博^A2^A2016-11-15 00:00:00
有多大的思想 才有多大的能量^A10^A2016-11-14 00:00:00
考古养龙^A10^A2016-11-13 00:00:00
求签定^A2^A2016-11-16 12:43:00
可真的^A2^A2016-11-16 12:44:00
论坛^A1^A2016-11-15 16:56:04
啦啦啊啊了^A2^A2016-11-16 12:45:00
中国律师定位再认识^A1^A12015-11-19 17:32:00

注意，上面是为了显示方便，而将\x01写作^A，在实际的文本编辑器我们是看不到^A的

可以使用自定义分隔符语句row format delimited fields terminated by '\t'

例如

hive> insert overwrite directory '/home/mydir/mydir' row format delimited fields terminated by '\t'
    > select * from test;

但是自定义的分隔符在hive 1.2.0版本之前会出现问题，这个bug 在1.2.0版本修复了