内部表与外部表

最新推荐文章于 2024-03-29 09:03:54 发布
最新推荐文章于 2024-03-29 09:03:54 发布
阅读量234 收藏 1
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46014882/article/details/108105450
版权
本文详细解析了Hive中内部表与外部表的核心差异。内部表在删除时，不仅元数据库中的信息会被清除，其在HDFS上的数据也将一并删除。而外部表即使在Hive层面被删除，HDFS上的数据仍得以保留，仅元数据会被移除。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hive中内部表与外部表的区别：

区别在于关键字（external）
内部表：
当我们在hive中使用命令删除表时，hive所对应的hdfs的目录会被删除，元数据库中的数据也会被删除

外部表：
当我们创建外部表的时候需要加关键字external，如果在hive中删除了外部表，那么外部表对应的hdfs目录不会随之删除，只有元数据库会被删除

Hive 内部表与外部表深度解析：数据管理的最佳实践
2401_83088008的博客
03-15 1035
在 Hive 数据管理中，内部表与外部表的选择本质上是数据控制权与灵活性的权衡。原始数据层：外部表管理，确保数据主权中间处理层：内部表加工，提升处理效率结果输出层：外部表共享，支持多系统访问通过合理的表类型组合，企业可以在数据安全、处理效率和跨平台协作之间找到最佳平衡点。未来随着 Hive 与湖仓架构的深度融合，这种设计模式将持续演进，成为大数据管理的核心范式。
【大数据Hive】Hive 内部表与外部表使用详解
congge_study的博客
07-15 6218
Hive 内部表与外部表使用详解
【Hive】内外部表的创建和区别
HR的博客
03-21 969
内外部表的创建和区别内部表(管理表)外部表管理表与外部表的互相转换 内部表(管理表) 默认创建的表都是所谓的管理表，有时也被称为内部表。因为这种表，Hive 会（或多或 少地）控制着数据的生命周期。 Hive 默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。 当我们删除一个管理表时，Hive 也会删除这个表中数据。管理表不适合和其他工具共享数据。 实例操作 原始数据 普通
内部表和外部表
weixin_50035474的博客
04-05 253
内部表和外部表 内部表和外部表的区别 创建表时，未被external修饰的是内部表，被external修饰的为外部表。 内部表数据存储的位置是hive.metastore,warehouse.dir,外部表数据的存储位置由自己制定。 如果没有Location,Hive将在HDFS上的/user/hive/warehouse文件夹以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里。 删除内部表会直接删除元数据及存储数据，删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除。 ...
内部表与外部表详解
hahweiwen的博客
08-13 6463
内部表&外部表 定义：未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）； 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一
hive(四) -- 内(外)部表、分区和分桶表
Gefangenes的博客
05-31 794
分桶表也叫做桶表，叫法源自建表语法中bucket单词，是一种用于优化查询而设计的表类型。分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。不合理的数据分区划分方式可能导致有的分区数据过多，而某些分区没有什么数据的尴尬情况。分桶是将数据集分解为更容易管理的若干部分的另一种技术。对Hive(Inceptor)表分桶可以将表中记录按分桶键(字段)的哈希值分散进多个文件中，这些小文件称为桶。桶以文件为单位管理数据!
数据仓库学习笔记四
m0_73799023的博客
03-28 300
内部表(managed table): 未被external修饰的表，也叫管理表。外部表(external table):被external修饰的表。内部表&外部表的区别： 内部表：删除表会删除表的元数据(metadata)和表数据（data）。外部表：删除表会删除表的元数据(metadata)，但不会删除表数据（data）。数据管理方式： 数据(data)都存储在HDFS上，内部表由Hive自身管理，外部表数据由HDFS管理；元数据(metadata)都存储在mysql上，由mysql管理。
hive内部表与外部表的区别及使用场景
日常分享数据分析开发、编程语言内容
04-29 3782
hive内部表与外部表的区别以及使用场景
hive内部表与外部表
weixin_44988131的博客
06-29 473
分析hive 内部表与外部表的区别
hive外部表改为内部表_Hive内部表与外部表的区别
weixin_42631411的博客
01-13 543
1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】。2.内部表数据由Hive自身管理，外部表数据由HDFS管理。3.内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】，外部表数据存储位置由用户自己决定。4.删除内部表会直接删除元数据【metad...
内部表和外部表区别和详解
weixin_44519124的博客
11-20 6661
在linux中进行文件上传 1.上传student.csv和techer.csv文件到linux上的/opt/hive上 2.使用myhive数据库 3.创建表并将本地文件上传到表中 创建老师表（外部表）： create external table techer (t_id string,t_name string) row format delimited...
内部表（管理表）和外部表
m0_46786082的博客
06-07 1527
内部表也称为管理表，数据是存放在表中的，删除表后 表中数据会同步删除。常见于明细层表 应用层表等。如DM层 APP层，一般是通过SQL语句从其他表中抽取的数据。 外部表，建表时有external关键字，数据是从外部以文件的形式加载进表中，删除表后 数据文件依然存在，只是删除了该表的元数据信息。常见于贴源层表，如ODS层， 一般是直接加载上游系统推送过来的的数据文件。查看一个表是内部表或外部表，可用describe extended tablename（表名），若tableType后显示managed_t
Hive内部表、外部表
热门推荐
在路上的学习者
04-06 1万+
hive内部表、外部表区别自不用说，可实际用说还是要小心
Hive内部表和外部表
人不风流枉少年
02-16 622
一：内部表和外部表的区别 创建表时使用关键字external创建的表就是外部表，没有使用该关键字创建的表就是内部表。 删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) location关键字：用于指定hdfs路径，如果不指定则使用默...
Hive内部表与外部表
weixin_71667809的博客
03-29 1186
外部表被drop后，表的metadata会被删除，但是data不会被删除。（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。内部表(managed table): 未被external修饰的表，也叫管理表。外部表：删除表会删除表的元数据(metadata)，但不会删除表数据（data）。内部表：删除表会删除表的元数据(metadata)和表数据（data）。
内部表和外部表的区别
qq_43528451的博客
09-26 1288
内部表和外部表的区别 ​ EXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（Location），Hive创建内部表时，会将数据移动到数据仓库指定的路径下；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删出数据。 ...
大数据学习-外部表&内部表详解
iilegend的博客
05-15 2781
外部表和内部表区别和实际运用： 前提知识储备： 1、hive存储的数据在hdfs上，建表的时候实际上是在hdfs上创建目录而已。 2、hive的元数据信息实际上是存在于mysql中（通常的做法） 3、访问hive的数据是先访问元数据再根据元数据的地址信息来获取数据 外部表和内部表在建表上的区别就是external（代表的外部表），外部表存储的方式是固定的hdfs路径，表是通过映射的方式访问（load数据到表中），而内部表的访问方式就是一个表和一个hdfs对应。所以在删除外部表的时候，...
（8）hadoop学习——内部表和外部表
Lenskit
05-16 2729
hive默认建表方式就是建立内部表。 建外部表语句： create external table table_exter( id int, name string, age int, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' stored as textfile location '/user/hive/warehou
笔记八:内部表、外部表
m0_64866845的博客
11-21 675
说明：1）当删除内部表时，会从Metastore中删除表元数据，还会从HDFS中删除其所有数据和文件；2）删除外部表，只会从Metastore中删除表的元数据（表信息），并保持HDFS位置中的实际数据不变。3)Hive拥有对内部表的绝对管理权，而仅对外部表有操作表的权力。内部表：管理表外部表：关联表1）内部表适合数据临时处理、转换等操作，及对数据进行清洗、统计分析、计算等需求。因为内部表可以提供更好的数据管理和查询性能；2）外部表适用于数据的长期存储、备份和共享等需求。
头歌hive内部表与外部表
最新发布
04-05
### Hive 内部表与外部表的区别 #### 1. 数据存储方式 内部表的数据存储在 Hive 的默认仓库目录下，路径通常为 `/user/hive/warehouse` 或者通过 `hive.metastore.warehouse.dir` 配置指定的路径[^1]。而外部表允许用户自定义数据文件的位置，通常是 HDFS 上的一个特定路径，这使得外部表可以指向已经存在的数据文件。 #### 2. 生命周期管理 当删除一张内部表时，不仅会删除该表的元数据信息，还会一并删除其对应的实际数据文件[^2]。然而，在删除外部表时，仅会移除元数据记录，实际的数据文件不会受到影响，仍然保留在原始位置[^3]。 #### 3. 数据共享能力 由于外部表不绑定于 Hive 默认仓库目录，并且删除操作不影响底层数据，因此它非常适合用于多系统间的数据共享场景。相比之下，内部表更适合那些只需要被 Hive 单独管理和使用的临时性或者短期数据分析任务。 --- ### 使用场景分析 #### 内部表适用场景 - **数据完全由 Hive 管理**：如果整个工作流都围绕 Hive 展开，无需考虑其他系统的访问需求，则可以选择使用内部表。 - **生命周期较短的任务**：对于一些一次性查询或短暂运行的小型项目来说，采用内部表能够简化流程，因为不需要额外处理数据清理问题。 #### 外部表适用场景 - **跨平台协作的需求**：如果有多个工具需要共同读取同一份源数据集（比如 Spark、Pig），那么应该优先选用外部表形式来实现资源共享目的。 - **长期保存的历史资料库建设**：针对某些业务领域内的核心档案材料而言，往往希望即使未来不再利用这些资源构建新的报表模型也依旧保持原样留存下来供后续审计或其他用途调阅；此时借助外部表即可达成上述目标。 --- ### 创建语句对比 以下是创建内部表和外部表的基本语法： ```sql -- 创建内部表 CREATE TABLE internal_table ( id INT, name STRING ); -- 创建外部表 CREATE EXTERNAL TABLE external_table ( id INT, name STRING ) LOCATION 'hdfs://path/to/data'; ``` 注意：只有外部表才支持显式声明 `LOCATION` 参数以指明具体存放地址。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值