hive导出查询文件到本地文件的2种办法
通过HQL语句
可以将hive 中表的数据生成到指定的目录。
有时候 我们可以利用hive来生成统计的中间文件(比源文件小的多的)
方法有如下2种:
www.2cto.com
1.INSERT OVERWRITE LOCAL DIRECTORY
将结果输出到指定的目录:
生成的文件数 和redurcer的数目的一样的
在hive下面执行
INSERT OVERWRITE LOCAL DIRECTORY '/hive_dat/package_name'
select package_name,count(1) from app_list group by package_name;
2.直接查询生成结果文件:
在linux下面执行:(也支持后台运行 如果执行时间比较长的话)
hive -S -e"select package_name,count(1) from app_list group by package_name;"> grp_app_id.dat
这个只生成一个文件 并且输出的文件里面的列 是以空格隔开的。
本文介绍了两种使用Hive导出查询结果至本地文件的方法。第一种方法是使用INSERT OVERWRITE LOCAL DIRECTORY语句,该方法会根据reducer的数量生成多个文件。第二种方法是直接在Linux命令行中执行hive查询,并将结果重定向到一个文件中。
2307

被折叠的 条评论
为什么被折叠?



