hive导出查询结果到本地文件

本文介绍了如何在Python中利用Hive进行数据处理,并将查询结果导出到本地CSV文件的方法,包括使用`hive -e`命令直接执行SQL语句或通过读取SQL文件的方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近在使用hive时,需要将hive查询的数据导出到本地文件系统,HQL语法如下:
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
  查询结果导出到本地文件后,试图使用excel加载时遇上了麻烦:不知道hive导出文件时使用的分隔符,
  使用文本编辑器打开也显示乱码。
  最后在官方文档上找了半天才发现,hive使用 ^A 符号作为域的分隔符,原文如下:
 Data written to the filesystem is serialized as text with columns separated by ^A

在python中可以使用line.split('\x01')来进行切分

如果确实需要将查询结果导出到本地文件,最好使用hive的命令:

  1. bin/hive -e "select * from test" >> res.csv  
  2.   
  3. 或者是:  
  4.   
  5. bin/hive -f sql.q >> res.csv  
  6.   
  7. 其中文件sql.q写入你想要执行的查询语句  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值