Hive - 内表和外表的区别

最新推荐文章于 2024-05-14 08:53:28 发布
原创 最新推荐文章于 2024-05-14 08:53:28 发布 · 1.1w 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hive

本文详细介绍了Hive中的内部表与外部表的区别，包括数据存放位置、导入数据方式、删除表后的数据处理等核心内容。重点阐述了内部表与外部表在数据管理上的差异，帮助开发者更好地理解和运用Hive表类型。
1. 内部表 
create table zz (name string , age string) location '/input/table_data';
注：hive默认创建的是内部表
此时，会在hdfs上新建一个zz表的数据存放地 

load data inpath '/input/data' into table zz;
会将hdfs上的/input/data目录下的数据转移到/input/table_data目录下。 删除zz表后，会将zz表的数据和元数据信息全部删除，即最后/input/table_data下无数据，当然/input/data下再上一步已经没有了数据！

     如果创建内部表时没有指定location，就会在/user/hive/warehouse/下新建一个表目录，其余情况同上。

    注：load data会转移数据
2. 外部表 
create external table et (name string , age string);
会在/user/hive/warehouse/新建一个表目录et 

load data inpath '/input/edata' into table et;
把hdfs上/input/edata/下的数据转到/user/hive/warehouse/et下 ，删除这个外部表后，/user/hive/warehouse/et下的数据不会删除，但是/input/edata/下的数据在上一步load后已经没有了！ 数据的位置发生了变化！本质是load一个hdfs上的数据时会转移数据！

3. 小结
最后归纳一下Hive中表与外部表的区别：
     1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下(如果指定了location的话)，也就是说外部表中的数据并不是由它自己来管理的！而内部表则不一样；
     2、在删除内部表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！

     3. 在创建内部表或外部表时加上location 的效果是一样的，只不过表目录的位置不同而已，加上partition用法也一样，只不过表目录下会有分区目录而已，load data local inpath直接把本地文件系统的数据上传到hdfs上，有location上传到location指定的位置上，没有的话上传到hive默认配置的数据仓库中。

Hive学习笔记 --- Hive外部表和内部表的关系
杨鑫newlife的专栏
03-25 770
1.默认情况下是内部表（MANAGED_TABLE）； 2.外部表（External Table）创建的时候需要加上External关键字，并指定位置存储位置； 3.删除内部表会直接删除元数据（METADATA）以及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会删除； 4.内部表由数据由Hive自由管理，外部表数据由HDFS管理； 5.对内...
-Hive-
weixin_44560620的博客
05-31 869
Hive定义 Hive 是一种数据仓库技术，用于查询和管理存储在分布式环境下的大数据集。构建于Hadoop的HDFS和MapReduce上，用于管理和查询分析结构化/非结构化数据的数据仓库; 使用HQL（类SQL语句）作为查询接口； 使用HDFS作为底层存储； 使用MapReduce作为执行层，即将HQL语句转译成M/R Job然后在Hadoop执行 Hive的表其实就是HDFS的目录/文件夹，按表名把文件夹分开。如果是分区表，则分区值是子文件夹； Hive概述—元数据、数据、目录 元数据保存在DB（
Hive内部表（管理表）和外部表的区别
认真学代码的shell
05-14 589
默认创建的表是内部表。hive完全管理表（元数据和数据）的声明周期，类似于RDBMS的表。当删除表时，他会删除源数据以及表的元数据。Hive外部表：外部表的数据不是Hive拥有或者管理的只管理元数据的声明周期。要创建一个外部表，需要使用external关键字。删除外部表是只会删除元数据，而不会删除实际数据（源数据）。在hive外部依然可以访问实际数据（HDFS）。及。
内表，外表
热门推荐
松门一枝花
02-24 1万+
一、内表 Internal Table 内表与结构体基本类似，它同样是程序运行中被临时创建的一个存储空间，它是一个可包含多条记录的数据表。 二、外表 外表(external table)就像普通的表对像一样，可以select等，只是它是只读的，数据库中只保存了表结构的描述，表数据却没有存放在数据库内，而是存放在了文件系统上。当用户想偶尔使用数据库外的结构化数据时，用起外表来就非常方便，
mysql内表和外表_Hive内表和外表的区别
weixin_30764401的博客
02-06 1630
本文以例子的形式介绍一下Hive内表和外表的区别。例子共有4个：不带分区的内表、带分区的内表、不带分区的外表、带分区的外表。1 不带分区的内表#创建表create table innerTable(id int,name string) row format delimited fields terminated by ‘|’;(show tables发现没有innerTable,只有innert...
Hive内表和外表的区别
newchitu的博客
03-04 2998
目录 内表 外表 内表：删表删数据（hdfs上的文件数据） 外表：删表不删数据（hdfs上的文件数据） 内表 创建表时没加external，默认是内表 所有的 Table 数据（不包括 External Table）都保存在warehouse这个目录中。 删除表时，元数据与数据都会被删除 创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数...
内部表和外部表的区别
qq_39321234的博客
09-24 3304
存储位置：内部表的数据存储在数据库的数据文件中，而外部表的数据通常存储在独立的文件系统或外部数据源中，如操作系统的文件系统、分布式文件系统、Hadoop等。数据集成：内部表的数据可以与数据库中的其他表进行关联和集成，进行复杂的查询和分析，而外部表需要通过数据导入或数据抽取等方式将外部数据与内部数据进行集成。数据一致性：内部表的数据与数据库的事务一致性保持同步，而外部表的数据可能不与数据库的事务一致，因为外部数据源可能由其他系统或应用程序维护。
【Hive-Hive写入数据压测】使用hive-testbench对Hive的写入数据进行压测
weixin_53543905的博客
03-11 1867
在对Hive的语法及性能进行测试时，需要构造大量数据，我们可以使用生产指定数据量大小的数据。提供了两种基准测试的数据生成器和示例查询（我们使用TPC-DSTPC-DS：提供一个公平和诚实的业务和数据模型，99个案例。TPC-H：面向商品零售业的决策支持系统测试基准，定义了8张表，22个查询。（1）TPC-DS简介1、 TPC-DS采用星型雪花型等多维数据模式。2、TPC-DS包含7张事实表17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询。【Hive-Hive写入数据压测】使用hive-tes
Hive表---内部表、外部表、数据导入和导出
Yan_bigdata的博客
11-16 2575
内部表、外部表、数据导入和导出的学习
Hive--DDL之创建表（内外部表，分区表）
weixin_42051673的博客
03-01 1817
Hive——DDL之创建表（内外部表，分区表）DDL之创建表命令1.内部表（管理表）1）普通命令创建2）根据查询结果创建3）根据已经存在的表创建表结构2.外部表1）使用命令创建2）使用desc命令查看表3)drop掉外部表，查看HDFS上表数据4）内部表和外部表互相转换3.分区表1）普通命令创建分区表2）静态分区插入3）动态分区插入 DDL之创建表命令 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMM
Hive详解之内表、外表和分区
lixinkuan的博客
10-05 4862
总结： 一、Hive的内表 Hive 的内表，就是正常创建的表，没有使用关键字External 二、Hive的外表 创建Hive 的外表，需要使用关键字External： CREATE EXTERNAL TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_com...
内表 外表区别 以及静态分区和动态分区
shui_dong的博客
09-16 1528
//内表 和外表的区分 删外表 表下的东西还在 内表相反 CREATE EXTERNAL TABLE CITY_ex( province_code int, province_name string, city_code int, city_name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’ LINES TER
hive内部标和外部表的区别
o340176635的博客
07-19 565
HIve 创建内部表时，会将数据移动到数据仓库指定的路径；创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。         在删除表时，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删数据。 Hive中的读时模式与rdbm的写实模式：读时模式，只有在读取数据的时候hive才检查、解析具体的数据字段、schema，它的优势是load data 非常迅速，因为它不需要读取数
Hive创建内表和外表的区别
不会打球的摄影师不是好程序员
11-22 805
Hive创建内表和外表的区别1.内部表2.外部表 1.内部表 内部表也称为管理表或临时表，Hive控制着整个表的生命周期，默认存放目录为/user/hive/warehouse，当删除一张表的时候表中的数据也会相应的删除。 缺点：在实际开发中，内部表不方便和其他工作共享数据，Hive在设计之初就不允许共享管理表中的数据，那应该如何来实现呢？Hive提供了外表表。 2.外部表 外部表中的数据生命周期不受Hive的控制，而且可以和其他外部表进行数据共享。 在创建外部表的时候需要加上external关键字 例：
内部表（管理表）和外部表
m0_46786082的博客
06-07 1582
内部表也称为管理表，数据是存放在表中的，删除表后 表中数据会同步删除。常见于明细层表 应用层表等。如DM层 APP层，一般是通过SQL语句从其他表中抽取的数据。 外部表，建表时有external关键字，数据是从外部以文件的形式加载进表中，删除表后 数据文件依然存在，只是删除了该表的元数据信息。常见于贴源层表，如ODS层， 一般是直接加载上游系统推送过来的的数据文件。查看一个表是内部表或外部表，可用describe extended tablename（表名），若tableType后显示managed_t
数据仓库学习笔记四
m0_73799023的博客
03-28 355
内部表(managed table): 未被external修饰的表，也叫管理表。外部表(external table):被external修饰的表。内部表&外部表的区别： 内部表：删除表会删除表的元数据(metadata)和表数据（data）。外部表：删除表会删除表的元数据(metadata)，但不会删除表数据（data）。数据管理方式： 数据(data)都存储在HDFS上，内部表由Hive自身管理，外部表数据由HDFS管理；元数据(metadata)都存储在mysql上，由mysql管理。
hive之内表和外表
qinqinde123的博客
05-19 1933
一. Hive内表–从本地导入 1.创建一张内部表 create table inner_table(id int, name string) row format delimited fields terminated by ','; 注意：delimited fields terminated by ',' --- 以逗号结尾的分隔字段 2.将本地txt文件导入 load data local inpath "/home/temp/student.txt" into inner_table; 3.查
Hive 内表和外表
最新发布
11-25
<think> 我们被要求回答Hive内部表和外部表的区别、特点及使用场景。根据提供的引用内容，我们可以总结如下： ### 内部表和外部表的区别 1. **创建方式**： - 内部表（管理表）：默认创建，不需要特殊关键字。 - 外部表：创建时必须使用`EXTERNAL`关键字，并且通常需要指定数据存储位置（`LOCATION`）。 2. **数据管理**： - 内部表：数据由Hive自身管理。当删除内部表时，Hive会删除表的元数据（metadata）以及存储的数据（存储在HDFS上的数据）。 - 外部表：数据由HDFS管理。当删除外部表时，只删除表的元数据，而HDFS上的数据文件仍然保留。 3. **数据存储位置**： - 内部表：默认存储在Hive的配置目录（`hive.metastore.warehouse.dir`）下，例如：`/user/hive/warehouse/databasename.db/tablename/`。 - 外部表：通常需要指定存储路径（`LOCATION`），可以指向HDFS上的任意位置。 4. **数据加载**： - 使用`LOAD DATA`命令加载数据时，对于内部表，Hive会将数据文件移动到自己的数据仓库目录中；对于外部表，Hive不会移动数据，而是直接使用指定位置的数据。 ### 特点 - **内部表**： - 适合数据完全由Hive管理的场景。 - 生命周期与表一致，删除表则数据丢失。 - 适合中间表、临时表等不需要长期保留的数据。 - **外部表**： - 数据独立于Hive，其他程序（如MapReduce、Spark）也可以直接使用这些数据。 - 删除表不会影响数据文件，因此更安全，便于数据共享和恢复。 - 适合存储原始数据（如日志数据）或需要多个框架共享的数据。 ### 使用场景 - **内部表适用场景**： 1. 数据完全由Hive管理，不需要共享。 2. 生命周期短，临时使用的中间表或结果表（例如ETL过程中的中间表）。 3. 需要Hive完全控制数据的场景，比如统计分析的结果表，并且这些结果不需要长期保留。 - **外部表适用场景**： 1. 数据需要被多个工具共享（如Hive、Spark、Impala等）。 2. 数据需要长期保留，即使表被删除，数据也不能丢失（如原始日志数据）。 3. 数据由外部程序生成并维护，Hive只用于查询分析。 引用中提到的其他要点： - 在ETL处理中，内部表常作为中间表，因为清理时会同时删除数据，避免残留。 - 对于每天采集的日志（如ng日志和埋点日志），建议使用外部表，因为误删恢复困难，且方便共享。 - 业务数据可以使用外部表或内部表，因为恢复相对容易，但若需要紧凑管理元数据和数据，则使用内部表。 - 统计分析中的中间表和结果表，如果不需要共享且需要自动清理，则使用内部表。 ### 总结 根据引用内容，我们可以总结如下： > 内部表和外部表的主要区别在于数据的管理方式（Hive管理 vs HDFS管理）和删除操作的影响（是否删除数据文件）。内部表适合临时数据，外部表适合共享和长期保留的数据[^1][^2][^3][^4]。 ### 附录：创建表语法示例 1. 创建内部表： ```sql CREATE TABLE internal_table ( id INT, name STRING ); ``` 2. 创建外部表： ```sql CREATE EXTERNAL TABLE external_table ( id INT, name STRING ) LOCATION '/user/data/external_table'; ``` §§相关问题§§ 1. Hive中如何将内部表转换为外部表？ 2. 在Hive中，如何查看一个表是内部表还是外部表？ 3. Hive外部表的数据损坏了怎么办？ 4. Hive内部表与外部表在性能上是否有差异？ </think> ### Hive内部表与外部表的区别、特点及使用场景 #### 一、核心区别 1. **数据管理权** - **内部表**：数据完全由Hive管理，存储在Hive仓库目录（默认`/user/hive/warehouse`） *删除表时，元数据和HDFS数据文件均被删除* [^1][^4] - **外部表**：数据由HDFS管理，仅通过元数据关联 *删除表时，仅删除元数据，HDFS数据文件保留* [^2][^3] 2. **创建语法** ```sql -- 内部表（默认） CREATE TABLE internal_table (...); -- 外部表（需EXTERNAL关键字和LOCATION） CREATE EXTERNAL TABLE external_table (...) LOCATION '/hdfs/path'; ``` 3. **数据生命周期** - 内部表：数据与表共存亡 - 外部表：数据独立于表存在 #### 二、特点对比 | **特性** | **内部表** | **外部表** | |----------------|-------------------------------|-------------------------------| | 存储位置 | Hive仓库目录 | 自定义HDFS路径 | | LOAD DATA操作 | 移动数据到仓库目录 | 直接使用源数据（不移动） | | DROP TABLE | 删除元数据+数据文件 | 仅删除元数据 | | 数据共享 | 仅Hive访问 | 多引擎共享（Spark/MapReduce）| | 误删恢复 | 不可恢复 | 重建表即可恢复 | #### 三、使用场景 ✅ **优先使用外部表**： 1. 原始日志/埋点数据（防止误删且需长期保留）[^3] 2. 多系统共享数据（如Hive+Spark共用HDFS数据） 3. 外部程序维护的数据（Hive只读访问） ✅ **优先使用内部表**： 1. ETL中间表（临时数据，自动清理）[^3] 2. 统计结果表（生命周期短，无需共享） 3. 需要Hive全权管理的数据集 > **典型实践**： > - 全量业务数据 → **内部表**（紧凑管理） > - 增量日志数据 → **外部表**（防误删且频繁更新）[^3] > - 跨平台共享数据 → **外部表**（避免数据拷贝） #### 四、操作示例 1. **创建外部表（指定HDFS路径）** ```sql CREATE EXTERNAL TABLE logs ( user_id STRING, event_time TIMESTAMP ) LOCATION '/data/raw/logs'; ``` 2. **内部表转外部表** ```sql ALTER TABLE internal_table SET TBLPROPERTIES ('EXTERNAL'='TRUE'); ``` ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值