Hive SQL查询结果写入指定hdfs路径

最新推荐文章于 2025-03-17 13:42:39 发布

zx_love

最新推荐文章于 2025-03-17 13:42:39 发布

阅读量1w

点赞数 3

CC 4.0 BY-SA版权

分类专栏：大数据 HIVE

本文链接：https://blog.youkuaiyun.com/zx_blog/article/details/80599259

大数据同时被 2 个专栏收录

16 篇文章

订阅专栏

HIVE

5 篇文章

订阅专栏

本文介绍如何通过Hive SQL将查询结果指定保存到HDFS路径，并详细解释了设置reduce task数量、结果数据分区、行列分隔符等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

将hive查询结果写入指定hdfs路径下：

set mapred.reduce.tasks = 1;
insert overwrite directory '/xx/xx/'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '~'
select cols...
from tableName
where conditions...
distribute by rand();

设置task数 set mapred.reduce.tasks = 1; 结果数据平均分区（分区数等于task数）distribute by rand();此时结果保存在一个文件中。结果数据每行以“~”分隔 ROW FORMAT DELIMITED FIELDS TERMINATED BY '~'。

如果结果数据不大（需要保存在一个或较少的几个文件）但计算量较大，tasks=1运行较慢，可以将结果先写入一张中间hive表，再调度tasks=1的任务将中间表中数据写入指定路径。