Hive内部表在HDFS中的目录结构

最新推荐文章于 2025-05-20 18:37:21 发布
最新推荐文章于 2025-05-20 18:37:21 发布
阅读量1.7w 收藏 10
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop平台 文章标签： Hive HDFS 目录结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/haibo_hn/article/details/69946372
本文介绍了Hive内部表在HDFS中的默认存储路径，以及当创建数据库和设定表分区时，HDFS目录结构的变化。在默认情况下，内部表位于/user/hive/warehouse/目录下，与表名对应。当使用特定数据库时，Hive会为每个数据库创建子目录。此外，对于分区表，每个分区会以键值对形式存在于表目录下。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

       在使用Sqoop导入表到Hive时，偶然发现有些表没有在Hive配置的/user/hive/warehouse目录下创建目录结构，而是在/user/root目录下创建。具体原因尚未查明，谨慎怀疑是那些导入出错的表导致，需要去甲方时再具体查看。在分析这个问题时，了解了Hive内部表在HDFS中的目录结构，总结如下。

1、默认情况        

       Hive内部表都属于缺省库default，在HDFS的目录为/user/hive/warehouse/（以下默认Hive的HDFS根目录为/user/hive）下。下图中abc，bonus，department，dept，emp为缺省库default下的几张表，目录名与表名一致。

[root@data1 ~]# hdfs dfs -ls /user/hive/warehouse/
Found 7 items
drwxrwxrwt   - root hive          0 2017-04-07 14:24 /user/hive/warehouse/a.db
drwxrwxrwt   - root hive          0 2017-03-27 14:13 /user/hive/warehouse/abc
drwxrwxrwt   - root hive          0 2017-04-07 14:22 /user/hive/warehouse/b.db
drwxrwxrwt   - root hiv
最低0.47元/天 解锁文章

200万优质内容无限畅学
[Hive基础]-- 查看hive 表在hdfs上的存储路径
欢迎来到我的博客，一起探索代码里的世界！
07-19 5万+
1、执行hive，进入hive窗口 2、执行show databases,查看所有的database; 3、执行use origin_ennenergy_onecard; 则使用origin_ennenergy_onecard数据库 4、执行show create table M_BD_T_GAS_ORDER_INFO_H;则可以查看table在hdfs上的存储路径 如下： hive (...
Hive讲课笔记：内部表与外部表
howard2005的专栏
12-28 1701
Apache Hive作为大数据处理的重要工具，其内部表与外部表是两种核心的数据存储和管理机制。内部表由Hive全权管理，数据存储在HDFS特定目录下，删除时会连同元数据及HDFS数据一同删除；创建过程包括定义表结构、插入数据等步骤，并且完全依赖于Hive系统。
hive查看表在hdfs上的位置
hanyong4719的博客
10-09 2376
show create table tablename;  
深度解析 HDFS与Hive的关系
lrj41781196的博客
05-20 1239
特性HDFSHive存储对象文件（Block）表（逻辑）元数据内部内存 & FsImage访问方式SQL容错机制Block 副本、NN HA依赖 HDFS 容错执行模式存储为主执行为主（借助 MapReduce/Tez/Spark）阶段类型特征编译阶段类似数据库编译器语法 → 语义 → 优化 → 物理计划执行阶段类似大数据任务Tez/Spark/MR 执行 DAG，有效并行计算元数据阶段类似数据库 Catalog所有数据路径均依赖 Metastore。
查看hive表储存在hdfs的哪个目录下
热门推荐
言之。
12-14 1万+
查看hive表储存在hdfs的哪个目录下, 查看一个HDFS目录占用了多少磁盘空间
HDFS NameNode主要内部结构
yy10992的专栏
11-28 5646
1、HDFS结构 hdfs的采用的是master/slave模型，一个hdfs cluster包含一个NameNode和若干的DataNode，NameNode是master。 NameNode主要负责管理hdfs文件系统，掌握着整个HDFS的文件目录树及其目录与文件，这些信息会以文件的形式永久地存储在本地磁盘。具体地包括namespace管理（其实就是目录结构），block管理（
Hive建表语句Location与HDFS创建目录
Time_Needer的博客
07-21 2355
建外部表使用LOCATION，读取到数据，同时插入数据，会在LOCATION位置新生成文件000000_0，然我删除外部表，数据文件还在，证明外部表功能还在。 我建内部表使用LOCATION，读取到数据，同时插入数据也会生成新文件，但如我删除内部表，数据文件都会消失，整个目录都会删除掉，也正好符合内部表的功能。 我建立外部表，不使用LOCATION，会在默认在/hive/warehouse/数据库名称/表名 建立目录，然后插入数据，会生成新文件，删除表。目录和文件都还在。符合外部表功能。 建立内部表，不使.
大数据-hive-在HDFS上的默认存储路径-小记
橙汁糖的博客
12-05 3620
/user/hive/warehouse
hive查看表在hdfs的存储位置
最新发布
07-30
- **外部表 vs 内部表**：内部表（Managed Table）的路径由Hive自动管理；外部表（External Table）的路径是用户指定的，删除表时数据不会丢失。 - **性能提示**：如果输出信息过多，可使用管道符`| grep 'Location'...
hive外部表改为内部表_Hive内部表与外部表的区别
weixin_42631411的博客
01-13 560
1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】。2.内部表数据由Hive自身管理，外部表数据由HDFS管理。3.内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】，外部表数据存储位置由用户自己决定。4.删除内部表会直接删除元数据【metad...
hdfs开启高可用+hive报错
02-29
- Hive元数据存储于内部的Metastore数据库中，其中包含了一个名为`SDS`（Storage Descriptors）的表，用于记录每个表的数据存储位置。 - 需要将该表中的`LOCATION`字段从指向master01的地址修改为指向HA集群中新的...
hive 文件存储结构总结，以及适用场景。
wangrui1605的博客
12-19 3318
文章目录背景基本概念行式存储和列式存储总结Hive 存储格式有哪些？TEXTFILE 文本格式文件（行式存储）适用场景SequenceFile（二进制序列化文件）适用场景sequenceFile如何解决小文件问题RCFile（行列式文件）存储方式ORC（优化的行列式文件）存储方式适用场景Parquet适用场景 背景 hive 的数据存储其实是在HDFS文件系统中的。hive 提供了一种查询HDFS 中文件的一种方式。和传统的关系型数据库相比，hive 对所存储的数据在文件中的编码方式有很大的灵活性。Apac
HDFS架构
weixin_40815637的博客
04-22 2792
HDFS架构 HDFS（Hadoop Distributed File System）是建立在一组分布式服务器节点上的本地文件系统之上的分布式文件系统。HDFS采用的是经典的主-从式结构。 一个HDFS文件系统包括一个主控节点NameNode和一组DataNode从节点。此外，还会又HDFS客户端以及Secondary NameNode等组成。也就是说一个HDFS主要由四个部分组成，分别是HDFS Client， NameNode, DataNode和Secondary NameNode。HDFS基本组成
HDFS的结构
weixin_46373361的博客
04-07 677
HDFS的结构namenode结构namenodesecondarynamenodenamenode存储结构datanode结构datanodedatanode存储结构存储数据模型HDFS写文件流程（重点）HDFS读文件流程（重点）注意最近邻（了解） namenode结构 namenode 管理文件元数据 文件名称、大小、所属关系、权限、副本大小、副本个数 文件块的列表信息：(块的ID，偏移量，块的大小，块所在的主机名称列表) 持久化文件 fsimage(内存快照)，edits lo
如何查找hive表在hdfs中的存储位置
天天臭乐呵
07-04 9917
在hive环境下输入以下命令：hive> show create table ecej_md_company; OK CREATE TABLE `md_company`( `company_id` int, `update_user` int, `merchant_id` string, `company_attribute` tinyint) COMMENT 'Import...
hive中的表
weixin_33831196的博客
05-08 199
一、内部表与外部表的比较 Hive表概念和关系型数据库表概念差不多。在Hive里表会和HDFS的一个目录相对应，这个目录会存放表的数据。目录默认是/usr/hive/warehouse/。 比如你在hadoop09数据库创建了emp表，那么HDFS中就会有/user/hive/warehouse/hadoop09.db/emp这个目录来存放表里的数据。 管理表：管理表又被称之为内部表，他只管...
hive中执行HDFS命令，查看目录属性等
weixin_34247299的博客
11-03 2096
为什么80%的码农都做不了架构师？>>> ...
Hive查看table在HDFS上的存储路径
u013402321的博客
05-17 6755
1. 启动hive$ hive2. 查看table的相关信息hive>show databases; hive>use databasename; hive>show create table tablename; --查看table的存储路径 hive>desc tablename; --查看table的表结构 hive>show fu...
Hive笔记二之数据类型,加载方式与hdfs对应关系
ty4315的专栏
12-18 3996
Hive的数据类型复杂数据类型，Hive加载数据属于读模式,hive中库表与hdfs的对应关系
hive 内部表 外部表 区别
03-14
<think>嗯，用户之前问过如何搭建Hive结合MySQL，现在又询问Hive内部表和外部表的区别。我需要先回顾之前的对话内容，确保这次回答的一致性。用户可能是刚开始学习Hive，对数据存储和管理有需求，可能是在搭建环境后，现在想了解如何合理使用表结构。 内部表和外部表的区别是Hive中的基础概念，但用户可能在实际应用中遇到选择困难，比如什么时候用内部表，什么时候用外部表。需要明确两者的定义、管理方式、数据存储位置以及删除时的行为差异。此外，用户可能关心使用场景，比如数据生命周期管理、数据共享等问题。 用户可能没有提到的深层需求包括数据安全、多系统协作（比如Hive和其他工具如Spark共用数据）、或者数据恢复的可能性。需要在这些方面给出建议，帮助用户避免常见错误，比如误删数据。同时，要确保回答结构清晰，步骤明确，符合用户之前接受的格式，比如分点说明和使用示例。</think>以下为Hive内部表与外部表的详细对比及使用指南： --- ### 一、核心差异对比表 | **对比维度** | **内部表（Managed Table）** | **外部表（External Table）** | |---------------------|-------------------------------------------|-----------------------------------------| | **数据所有权** | Hive全权管理 | Hive仅管理元数据 | | **存储位置** | 默认存储在`/user/hive/warehouse` | 用户自定义路径（需`LOCATION`显式指定） | | **删除行为** | `DROP`时**同时删除元数据+实际数据** | `DROP`时**仅删除元数据** | | **数据共享** | 不适合跨系统共享 | 支持Spark/Presto等工具直接访问原始数据 | | **应用场景** | 临时数据/中间计算结果 | 原始日志/多系统共享数据 | --- ### 二、创建语法差异 1. **内部表（自动管理存储路径）** ```sql CREATE TABLE managed_table ( id INT, name STRING ) STORED AS ORC; ``` 2. **外部表（必须指定数据路径）** ```sql CREATE EXTERNAL TABLE external_logs ( ip STRING, access_time TIMESTAMP ) STORED AS TEXTFILE LOCATION '/data/raw/logs'; ``` --- ### 三、数据生命周期验证实验 ```sql -- 实验步骤（在Hive CLI中执行）： -- 1. 创建测试表 CREATE TABLE test_managed(id INT); -- 内部表 CREATE EXTERNAL TABLE test_external(id INT) -- 外部表 LOCATION '/tmp/external_test'; -- 2. 插入测试数据 INSERT INTO test_managed VALUES (1); INSERT INTO test_external VALUES (1); -- 3. 删除表 DROP TABLE test_managed; -- 数据目录/user/hive/warehouse/test_managed被删除 DROP TABLE test_external; -- 数据目录/tmp/external_test仍然存在 ``` --- ### 四、使用场景决策树 ``` 是否需要永久保留原始数据？ ├── 是 → 选择外部表 └── 否 → 是否多个系统需要访问数据？ ├── 是 → 外部表 └── 否 → 内部表（简化管理） ``` --- ### 五、生产环境注意事项 1. **数据安全保护** - 关键业务数据**必须使用外部表**，避免误删 - 通过HDFS权限控制外部表目录：`hdfs dfs -chmod 750 /data/raw` 2. **元数据管理** - 外部表删除后需手动清理残留元数据：`MSCK REPAIR TABLE` 3. **性能优化** - 内部表支持`ACID`事务特性（Hive 3.0+） - 外部表建议配合`HDFS Erasure Coding`节省存储空间 --- ### 六、混合使用案例 ```sql -- 典型ETL流水线： -- 1. 外部表接收原始数据 CREATE EXTERNAL TABLE raw_data (...) LOCATION '/data/raw'; -- 2. 内部表存储清洗后的数据 CREATE TABLE cleaned_data (...) STORED AS PARQUET; -- 3. 转换处理 INSERT INTO cleaned_data SELECT * FROM raw_data WHERE quality_check(); -- 4. 删除原始表时不影响数据 DROP TABLE raw_data; -- /data/raw目录数据保留 ``` --- 通过理解这些核心区别，可以有效避免数据误删风险，并构建更健壮的大数据存储架构。建议生产环境**80%以上的场景使用外部表**，仅在明确需要Hive托管数据时使用内部表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值