hive如何导出数据至本地/HDFS/HIVE?
应用背景
windows下使用xshell进行hive的操作,代码编辑使用vscode。
这时候如果有数据需求的话,正常情况是登录hive,输入hql,然后出数据,复制粘贴在excel里稍微美化一下,交给运营和产品,但是这种情况是在数据量不大的情况下可以实现的,那如果行数太多,无法直接复制,如何操作呢?
方法一:将数据以文件格式存到到本地
分为两步:把数据存储在linux服务器,从linux服务器复制文件到本地windows
-
insert方法(有风险)
INSERT OVERWRITE LOCAL DIRECTORY '/home/path' select * from test;这种方法将数据写入本地目录(是linux的本地目录,不是电脑的本地目录),但是要注意,这种方法会将这个路径下原来的内容都覆盖掉,尽量把路径限制在你自己新建的文件夹下。
-
hive -e方法
hive -e

这篇博客介绍了在Windows环境下使用xshell和Hive操作时,如何导出大量数据。提供了三种方法:通过insert命令或hive -e命令将数据保存至Linux本地再转至Windows;直接存入HDFS或新建Hive表;以及通过修改xshell配置显示更多行数直接复制数据。
最低0.47元/天 解锁文章
535

被折叠的 条评论
为什么被折叠?



