HIVE 外部表、内部表、元数据之间的关系

最新推荐文章于 2022-09-20 11:00:00 发布
最新推荐文章于 2022-09-20 11:00:00 发布
阅读量2.4k 收藏
点赞数 1
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38161903/article/details/123899164
版权
本文概述了如何在Hive中创建外部表，通过MySQL元数据操作确认表类型，查询HDFS存储路径，以及如何刷新Impala元数据。后续讲述了删除外部表后的数据清除过程，并强调了Hive与Impala共享元数据。最后介绍了如何在Hive上建立同名内部表并进行删除，揭示了元数据与数据一致性关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.创建hive外部表

在这里插入图片描述

2.mysql的元数据信息

select * from TABLE_PARAMS;查看表是否是外部表
在这里插入图片描述

select * from SDS;记录表的存储路径（默认路径）
在这里插入图片描述

3.hdfs的存储

在这里插入图片描述

4.刷新impala的元数据信息

在这里插入图片描述

5.删除外部表

在这里插入图片描述

6.刷新impala元数据信息并查表

在这里插入图片描述

7.mysql元数据信息已被删除，序号140的表信息已删除

在这里插入图片描述

8.查询hdfs存储路径，数据依然坚挺

在这里插入图片描述

9.在hive上建立同名的内部表，成功并可查

在这里插入图片描述

10.删除内部表，mysql的元数据和hdfs存储的数据已全部被删除，由此还可以知道，impala和hive共用元数据和源数据

在这里插入图片描述
在这里插入图片描述

Hive学习笔记 --- Hive外部表和内部表的关系
杨鑫newlife的专栏
03-25 666
1.默认情况下是内部表（MANAGED_TABLE）； 2.外部表（External Table）创建的时候需要加上External关键字，并指定位置存储位置； 3.删除内部表会直接删除元数据（METADATA）以及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会删除； 4.内部表由数据由Hive自由管理，外部表数据由HDFS管理； 5.对内...
Hive 内部表与外部表深度解析：数据管理的最佳实践
最新发布
2401_83088008的博客
03-15 1036
在 Hive 数据管理中，内部表与外部表的选择本质上是数据控制权与灵活性的权衡。原始数据层：外部表管理，确保数据主权中间处理层：内部表加工，提升处理效率结果输出层：外部表共享，支持多系统访问通过合理的表类型组合，企业可以在数据安全、处理效率和跨平台协作之间找到最佳平衡点。未来随着 Hive 与湖仓架构的深度融合，这种设计模式将持续演进，成为大数据管理的核心范式。
Hive的数据模型之外部表
实践求真知
12-03 548
一 外部表（External Table） 1、指向已经在HDFS中存在的数据，可以创建Partition。 2、它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异。 3、外部表只是一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个外部表时，仅删除该链接。 二 理解外部表 三 实战 1、加入外部数据
Hive元数据表结构详解
热门推荐
06-14 1万+
概述 我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东西，大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表，他默认是存储再derby中的，但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。 Hive元数据表结构 hive-...
Hive 外部表
大数据流浪法师的学习笔记与分享
11-20 639
外部表： 外部表说明： 外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所以删除hive表的时候，数据仍然存放在hdfs当中，不会删掉 管理表和外部表的使用场景： 每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。 操作...
oracle外部表的使用
袈裟本无清净，红尘不染性空。幽幽古刹千年钟，都是痴人说梦
02-13 191
外部表概述 外部表只能在Oracle 9i之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。外部表的特性位于文件系统之中，按一定格式分割，如文本文件或者其他类型的表可以作为外部表。对外部表的访问可以通过SQL语句来完成，...
Hive内部表和外部表
01-07
删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字 用于指定hdfs路径，如果不...
hive外部表改为内部表_Hive内部表与外部表的区别
weixin_42631411的博客
01-13 543
1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】。2.内部表数据由Hive自身管理，外部表数据由HDFS管理。3.内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】，外部表数据存储位置由用户自己决定。4.删除内部表会直接删除元数据【metad...
hive中的内部表和外部表
qq_51666324的博客
10-23 3076
未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）。 区别 1. 内部表数据由Hive自身管理，外部表数据由HDFS管理； 2.内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS的/user/hive/warehouse文件夹下以外...
Hive External Table 外部表
09-20 1364
HIVE External Table 外部表，内部表与外部表区别，外部表示例
Hive 内部表&外部表
奔赴彼岸
01-13 1374
Hive的表结构 本质就是Hadoop的目录/文件 – hive默认表存放路径一般都是在你工作目录的hive目录里面，按表名做文件夹分开，如果你 有分区表的话，分区值是子文件夹，可以直接在其它的MR job里直接应用这部分数据 1、查看Hive中表结构： 方式一： show create table 表名; show create table orders; 方式二： desc 表名; desc orders; 2、删除HIve中表 drop table 表名; drop table orders;
Hive的元数据存储与元数据表
H_hello_world的博客
03-30 7345
一、元数据(metadata) 元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。 元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。 元数据包含用Hive创建的database、table等的元信
数据元与元数据的区别和联系
sachrl的博客
10-23 2134
元数据不可能涵盖理解数据元所要表示的数据所必需的所有信息。 数据元的相关信息是任何一个(组织的)元数据的一个完整的组成部分。 元数据的每一个元素都是一个数据元，用符合数据元标准的元数据属性和描述方法来说明元数据。 将元数据存储于一个库中，并使之条理化就需要建模，建模就需要从数据元的注册系统中或库中获取元数据。 元数据，它是以一种一致、标准的方式来表达的数据元。 元数据与数据元字典格式均由行号、中文名称、英文名称、标识符(短语)、定义、约束／条件、最大出现次数、数据类型、数据的值域等属性组成。不同之
Hive（4）内部表和外部表
刚哥的大数据之路
08-20 337
外部表（external table） 有external修饰，表数据保存在HDFS上，该位置由用户指定。删除表时，只会删除表的元数据，所以外部表不是有Hive完全管理的 内部表(internal table/managed table) 没有external修饰，表数据保存在Hive默认的路径下，数据完全由Hive管理，删除表时元数据和表数据都会一起删除。 3.区别 外部表的表数据由HDFS管理，Hive管理外部表元数据，而内部表的表数据和元数据都由Hive管理 外部表的表数据存储位置由用户指定，而内.
（8）hadoop学习——内部表和外部表
Lenskit
05-16 2729
hive默认建表方式就是建立内部表。 建外部表语句： create external table table_exter( id int, name string, age int, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' stored as textfile location '/user/hive/warehou
Hive高级、Hive的元数据
忆往昔的博客
09-07 1706
标题1、Hive元数据表（1）存储Hive版本的元数据表（2）Hive数据库相关的元数据表2）DATABASE_PARAMS（3）Hive表和视图相关的元数据表（4）Hive文件存储信息相关的元数据表（5）Hive表字段相关的元数据表（6）Hive表分区相关的元数据表2）PARTITION_KEYS3）PARTITION_KEY_VALS4）PARTITION_PARAMS（7）Hive函数相关的元数据表（8）其他不常用的元数据表2、Hive中Join的用法（1）join六种用法（2）join语法格式（3）
Hive内部表及外部表
weixin_44246850的博客
01-06 1万+
1、内部表 内部表，也叫托管表，是Hive在创建表时的默认表。 特点：在内部表被删除后，表的元数据和表数据都从HDFS中完全删除 ①：首先创建一个student内部表 hive> create table if not exists student( > id string, > name string > ) > row format delimited > fields terminated by '\t'; ②查看
hive的数据存储（元数据，表数据）和内部表，外部表，分区表的创建和区别作用
小爷欣欣
07-15 7534
hive的数据存储：首先弄清楚什么是元数据和表数据：元数据就是表的属性数据，表的名字，列信息，分区等标的属性信息，它是存放在RMDBS传统数据库中的（如，mysql）。表数据就是表中成千上万条数据了。hive的存储过程：启动hive时，会初始化hive，这时会在mysql中生成大约36张表（后续随着业务的复杂会增加），然后创建表，会在mysql中存放这个表的信息（不是以表的形式存在的，而是把表的属...
hive外部表和内部表的区别
06-03
在 Hive 中，有两种类型的表：内部表和外部表。它们的主要区别在于： 1. 存储位置：内部表的数据存储在 Hive 的数据仓库中，而外部表的数据存储在独立的存储系统中，如 HDFS、S3 等。 2. 数据管理：对于内部表，Hive 会对其数据进行管理，包括数据的存储、元数据的管理等；而对于外部表，Hive 只会管理元数据，不会对数据进行管理。 3. 数据删除：对于内部表，删除表时，Hive 会同时删除表的数据；而对于外部表，删除表时，只会删除表的元数据，不会删除数据。 4. 数据导入：对于内部表，可以使用 LOAD DATA 命令将数据导入到 Hive 中；而对于外部表，需要先将数据导入到独立的存储系统中，再通过 Hive 的 EXTERNAL TABLE 命令来创建外部表。 因此，外部表适用于需要与其他系统共享数据的场景，如在 Hadoop 集群之外的系统中使用 Hive 访问 HDFS 中的数据；内部表适用于需要对数据进行完全控制的场景，如对数据进行清洗、转换等操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值