hdfs文件数据映射到hive

原创于 2019-07-02 15:39:03 发布 · 4.6k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hive

小技巧专栏收录该内容

62 篇文章

订阅专栏

本文详细介绍了如何通过Hive操作HDFS中的数据，包括文件上传、表创建及指定分隔符等关键步骤，为大数据处理提供实用指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文件中的数据需要是格式化的，每行有固定的分隔符，

步骤1：将文件上传到服务器，再从服务器上传到hdfs一个文件夹，命令

hdfs dfs -put xxxx.txt /apps/hive/warehouse/xxxxx/hive_hdfs_test

步骤2：hive中创建表，并制定分隔符及文件再hdfs中的目录路径

CREATE TABLE hive_hdfs_test
(
name	 string,
age	 string,
sex	 string
)
row format delimited fields terminated by ','
location 'hdfs://namenodecluster/apps/hive/warehouse/xxxxx/hive_hdfs_test';

即可在hive中查到数据，操作的是hive表的底层 hdfs文件。