将hdfs数据写入hive

最新推荐文章于 2025-06-14 19:04:06 发布

原创最新推荐文章于 2025-06-14 19:04:06 发布 · 7.2k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hive

pyspark 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了如何将HDFS中的数据导入到Hive中。首先，需要在Hive中创建与HDFS数据格式一致的新表，确保列名和数据格式匹配。然后，通过指定HDFS数据路径，使用load data inpath命令将数据加载到Hive表中。

部署运行你感兴趣的模型镜像

下面来唠唠怎么将hdfs里的数据写入到hive里。

要将数据写入hive里，那么hive里得有存放数据表得位置，因此，

第一步，是在hive里创建新的表来存储来自hdfs的数据，这里有两个注意：1、新建的表应该跟hdfs里面数据表一致，指定列名；2、创建表格式应一致，具体就是指row format delimited fields terminated by ','里by后面应与hdfs数据保持一致。创建表代码如下：

hive -e" CREATE TABLE IF NOT EXISTS table (user_id STRING,brand_id STRING,score STRING) row format delimited fields terminated by ',' "

第二步，将hdfs数据写入准备好的hive表里。要写数据首先得知道数据存放的路径，记下数据存放路径，使用 hive -e " load data inpath '文件路径' into table 对应库表名"将数据写入hive。

好啦，成功啦。

扫描下方二维码关注领取程序员必备千套ppt模板，300本精选好书，丰富面经：