使用在hdfs上的文件导入到hive中

最新推荐文章于 2025-05-20 18:37:21 发布

原创

最新推荐文章于 2025-05-20 18:37:21 发布 · 1.4w 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了如何将文件从HDFS导入到Hive中，包括使用`hdfs dfs -put`命令上传文件，创建与数据格式匹配的Hive表，以及通过`load data inpath`加载数据。在导入过程中遇到`Loading data to table... FAILED`的错误，但数据实际已导入，探讨了可能的原因和解决方法，鼓励读者交流讨论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive要打开，另一边root@hadoop-virtual-machine:/# hdfs dfs -ls /user/hive查看hdfs上都有些什么，

然后把数据文件导入到hdfs上，root@hadoop-virtual-machine:/# hdfs dfs -put /opt/os.txt /user/hive/

hive那边用show databases;查看当前都有什么数据库

然后创建表（此表是用来装导入进来的数据的）

hive> create table os
> (pathid string,nodeweight int,pathweight string,nodeid int,shutdown string)
> ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' LINES TERMINATED BY '\n'
> STORED AS TEXTFILE;

要保证创建的表的格式要和数据文件中的格式一样，例如字段间的间隔符是什么行与行间的间隔符都要进行限定，

导入数据 hive> load data inpath '/user/hive/os.txt' into table os;

hive> select * from os;
OK
["12->22"] 9638 [52] 12 false
["19->78"] 11895 [51]