Hive查询结果的几种保存方法

最新推荐文章于 2024-08-05 20:59:55 发布

原创最新推荐文章于 2024-08-05 20:59:55 发布 · 8.9k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#Hive #文件保存

Hive 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了如何将Hive查询结果保存到不同位置的方法，包括本地文件系统、HDFS、Hive表及直接通过HDFS导出。文章详细阐述了各种保存方式的具体命令及其注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 保存到本地

调用hive的标准输出，将查询结果写到指定的文件中

hive -e "select user, login_timestamp from user_login" > /tmp/out.txt

或者

$ hive -f file.sql > /tmp/out.txt 

$ cat file.sql 
  select user, login_timestamp from user_login

使用INSERT OVERWRITE LOCAL DIRECTORY保存结果到本地

hive> insert overwrite local directory "/tmp/out/"  
    > row format delimited fields terminated by "\t"   
    > select user, login_time from user_login;

修改分隔符号为tab
命令执行后/tmp/out/目录下多了两个文件：

$ find /tmp/out/ -type f  
  /tmp/out/.000000_0.crc  
  /tmp/out/000000_0

这两个文件存放的内容不一样，其中000000_0存放查询的结果，带有.crc文件存放查询结果文件的crc32校验。

2. 保存结果到HDFS

使用INSERT OVERWRITE DIRECTORY可完成操作

hive> insert overwrite directory "/tmp/out/"  
    > row format delimited fields terminated by "\t"   
    > select user, login_time from user_login;

3. 保存结果到Hive表

如果结果表已经建好，可以使用INSERT OVERWRITE TABLE将结果写入结果表：

hive> insert overwrite table query_result       
    > select user, login_time from user_login;

Hive还有追加方式INSERT TABLE，可以在原有数据后面加上新的查询结果。
在上面这个例子基础上，可以再追加一个查询结果：

hive> insert into table query_result  
    > select * from query_result;

如果需要新建一个表，用于存放查询结果，可以使用CREATE TABLE AS SELECT语法

hive> create table query_result   
    > as  
    > select user, login_time from user_login;

4. 使用HDFS直接导出表

Hive是构建在HDFS之上，因此，可使用HDFS的命令hadoop dfs -get直接导出表到本地。

hive> show create table user_login; --找到被导出的表的存放目录

hive> hadoop dfs -get /user/hive/warehouse/test.db/user_login  /tmp/out/