hive把hql查询的结果导出到本地或者HDFS上面

最新推荐文章于 2024-12-12 22:12:57 发布

原创最新推荐文章于 2024-12-12 22:12:57 发布 · 2.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive

hive 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了使用Hive进行数据导出的两种方法：一种是直接通过HQL语句将查询结果导出到本地系统或HDFS；另一种是借助Shell命令实现数据导出。同时还提到了导出数据时字段间默认使用的分隔符。

hive可以把hql查询的结果导出到linux本地或者导出到HDFS上面，这样可以利用结果集做一些分析操作。

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
这里的local关键字是可选的，如果有local关键字说明是导出到本地系统的，如果不加local关键字则是导出到HDFS上面。
还有点需要注意的导出的数据字段之间的分隔符是八进制的‘\001’，这个暂时还不能修改导出分隔符。
其实还有一种导出数据到本地的方式，借助了shell的能力。
比如：$hive -e "select * from test" >> /data/res.csv 这样就可以把导出的数据写入到文件中。