在生产上,一般对数据清洗之后直接放到HDFS上,再将目录加载到分区表中,之后通过hive去查询分析数据;
1、准备数据
order_created.txt
用 tab分割
10703007267488 2014-05-01 06:01:12.334+01
10101043505096 2014-05-01 07:28:12.342+01
10103043509747 2014-05-01 07:50:12.33+01
10103043501575 2014-05-01 09:27:12.33+01
10104043514061 2014-05-01 09:03:12.324+01
order_created.txt 存放位置
[root@zjj101 soft]# pwd
/root/soft
[root@zjj101 soft]# ls
data docker hadoop-2.7.2 hive-1.2.1 myconf order_created.txt tmp
2、在hdfs上创建准备放数据的目录
准备放到这里:
/user/hive/warehouse/order_partition/

[root@zjj101 soft]# hadoop fs

本文介绍如何将TXT文件上传至HDFS,并利用Hive进行数据读取及分析的过程。首先通过工具如Xftp上传文件,接着创建HDFS目录存放数据,最后使用Hive SQL查询分析数据。
最低0.47元/天 解锁文章
5万+

被折叠的 条评论
为什么被折叠?



