hive 内部表和外部表的区别和理解

最新推荐文章于 2025-05-29 10:36:35 发布
转载 最新推荐文章于 2025-05-29 10:36:35 发布 · 831 阅读 · 2

本文详细解析Hive中内部表与外部表的区别，包括创建方式、数据导入过程及删除行为的不同。通过实例演示帮助理解两种表类型的特性，指导用户在实际应用中做出合理选择。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.创建内部表与外部表的区别是什么？
2.external关键字的作用是什么？
3.外部表与内部表的区别是什么？
4.删除表的时候，内部表与外部表有什么区别？
5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的？

6.磁盘，hdfs,hive表他们之间的过程是什么样子的？


好了，进入正题。今天我们要探讨的话题是Hive的里面的表与外部表两个概念，以及如何在Hive里面创建表和外部表，它们之间有什么区别等话题。在本博客的 让你彻底明白hive数据存储各种模式文章里面我们谈到了Hive的数据存储模式，里面简单的说到Hive中表以及外部表的简单概念，相信很多读者对这些概念还不是很了解，今天就给大家科普一下，希望对大家有所帮助。
　　相信很多用户都用过关系型数据库，我们可以在关系型数据库里面创建表（create table），这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在Hive里面创建一个表：


  1. hive> create table wyp(id int,
  2.     > name string,
  3.     > age int,
  4.     > tele string)
  5.     > ROW FORMAT DELIMITED
  6.     > FIELDS TERMINATED BY '\t'
  7.     > STORED AS TEXTFILE;
  8. OK
  9. Time taken: 0.759 seconds
复制代码
这样我们就在Hive里面创建了一张普通的表，现在我们给这个表导入数据：

  1. hive> load data local inpath '/home/wyp/data/wyp.txt' into table wyp;
  2. Copying data from file:/home/wyp/data/wyp.txt
  3. Copying file: file:/home/hdfs/wyp.txt
  4. Loading data to table default.wyp
  5. Table default.wyp stats: [num_partitions: 0, num_files: 1,
  6.            num_rows: 0, total_size: 67, raw_data_size: 0]
  7. OK
  8. Time taken: 3.289 seconds
  9. hive> select * from wyp;
  10. OK
  11. 1       wyp     25      13188888888888
  12. 2       test    30      13888888888888
  13. 3       zs      34      899314121
  14. Time taken: 0.41 seconds, Fetched: 3 row(s)
复制代码

注意：/home/wyp/data/路径是Linux本地文件系统路径；而/home/hdfs/是HDFS文件系统上面的路径！从上面的输出我们可以看到数据是先从本地的/home/wyp/data/文件夹下复制到HDFS上的/home/hdfs/wyp.txt(这个是Hive中的配置导致的)文件中！最后Hive将从HDFS上把数据移动到wyp表中！移到表中的数据到底存放在HDFS的什么地方？其实在Hive的${HIVE_HOME}/conf/hive-site.xml配置文件的hive.metastore.warehouse.dir属性指向的就是Hive表数据存放的路径（在我的店电脑里面配置是/user/hive/warehouse），而Hive每创建一个表都会在hive.metastore.warehouse.dir指向的目录下以表名创建一个文件夹，所有属于这个表的数据都存放在这个文件夹里面。所以，刚刚导入到wyp表的数据都存放在/user/hive/warehouse/wyp/文件夹中，我们可以去看看：


  1. hive> dfs -ls /user/hive/warehouse/wyp ;
  2. Found 1 items
  3. -rw-r--r-- 3 wyp supergroup   67 2014-01-14 22:23 /user/hive/warehouse/wyp/wyp.txt
复制代码

看到没，上面的命令就是显示HDFS上的/user/hive/warehouse/wyp中的所有内容。如果需要删除wyp表，可以用下面的命令：

  1. hive> drop table wyp;
  2. Moved: 'hdfs://mycluster/user/hive/warehouse/wyp' to
  3.         trash at: hdfs://mycluster/user/hdfs/.Trash/Current
  4. OK
  5. Time taken: 2.503 seconds
复制代码


从上面的输出Moved: ‘hdfs://mycluster/user/hive/warehouse/wyp’ to trash at: hdfs://mycluster/user/hdfs/.Trash/Current我们可以得知，原来属于wyp表的数据被移到hdfs://mycluster/user/hdfs/.Trash/Current文件夹中（如果你的Hadoop没有取用垃圾箱机制，那么drop table wyp命令将会把属于wyp表的所有数据全部删除！），其实就是删掉了属于wyp表的数据。记住这些，因为这些和外部表有很大的不同。同时，属于表wyp的元数据也全部删除了！
我们再来创建一个外部表：


  1. hive> create external table exter_table(
  2.     > id int,
  3.     > name string,
  4.     > age int,
  5.     > tel string)
  6.     > location '/home/wyp/external';
  7. OK
  8. Time taken: 0.098 seconds
复制代码

仔细观察一下创建表和外部表的区别，仔细的同学们一个会发现创建外部表多了external关键字说明以及location ‘/home/wyp/external’。是的，你说对了！如果你需要创建外部表，需要在创建表的时候加上external关键字，同时指定外部表存放数据的路径（当然，你也可以不指定外部表的存放路径，这样Hive将在HDFS上的/user/hive/warehouse/文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）：

  1. hive> load data local inpath '/home/wyp/data/wyp.txt' into table exter_table;
  2. Copying data from file:/home/wyp/data/wyp.txt
  3. Copying file: file:/home/hdfs/wyp.txt
  4. Loading data to table default.exter_table
  5. Table default.exter_table stats: [num_partitions: 0, num_files:
  6.             1, num_rows: 0, total_size: 67, raw_data_size: 0]
  7. OK
  8. Time taken: 0.456 seconds
复制代码

和上面的导入数据到表一样，将本地的数据导入到外部表，数据也是从本地文件系统复制到HDFS中/home/hdfs/wyp.txt文件中，但是，最后数据不是移动到外部表的/user/hive/warehouse/exter_table文件夹中（除非你创建表的时候没有指定数据的存放路径）！大家可以去HDFS上看看！对于外部表，数据是被移动到创建表时指定的目录（本例是存放在/home/wyp/external文件夹中）！如果你要删除外部表，看看下面的操作：

  1. hive> drop table exter_table;
  2. OK
  3. Time taken: 0.093 seconds
复制代码
和上面删除Hive的表对比可以发现，没有输出将数据从一个地方移到任一个地方！那是不是删除外部表的的时候数据直接被删除掉呢？答案不是这样的：

  1. hive> dfs  -ls /home/wyp/external;
  2. Found 1 items
  3. -rw-r--r--  3 wyp supergroup 67 2014-01-14 23:21 /home/wyp/external/wyp.txt
复制代码

你会发现删除外部表的时候，数据并没有被删除，这是和删除表的数据完全不一样的！

最后归纳一下Hive中表与外部表的区别：
1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样；
2、在删除表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！
那么，应该如何选择使用哪种表呢？在大多数情况没有太多的区别，因此选择只是个人喜好的问题。但是作为一个经验，如果所有处理都需要由Hive完成，那么你应该创建表，否则使用外部表！




1. 内部表

create table test (name string , age string) location '/input/table_data';
注：hive默认创建的是内部表
此时，会在hdfs上新建一个test表的数据存放地 
load data inpath '/input/data' into table test ;

会将hdfs上的/input/data目录下的数据转移到/input/table_data目录下。删除test表后，会将test表的数据和元数据信息全部删除，即最后/input/table_data下无数据，当然/input/data下再上一步已经没有了数据！

     如果创建内部表时没有指定location，就会在/user/Hive/warehouse/下新建一个表目录，其余情况同上。

    注：load data会转移数据

2. 外部表

create external table etest (name string , age string);

会在/user/hive/warehouse/新建一个表目录et

load data inpath '/input/edata' into table etest;

把hdfs上/input/edata/下的数据转到/user/hive/warehouse/et下，删除这个外部表后，/user/hive/warehouse/et下的数据不会删除，但是/input/edata/下的数据在上一步load后已经没有了！数据的位置发生了变化！

本质是load一个hdfs上的数据时会转移数据！

 

 

3. 小结

 

最后归纳一下Hive中表与外部表的区别：

 

     1、在导入数据到外部表，数据并没有移动到自己的 数据仓库目录下(如果指定了location的话)，也就是说外部表中的数据并不是由它自己来管理的！而内部表则不一样；
     2、在删除内部表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！

 

     3. 在创建内部表或外部表时加上location 的效果是一样的，只不过表目录的位置不同而已，加上partition用法也一样，只不过表目录下会有分区目录而已，load data local inpath直接把本地文件系统的数据上传到hdfs上，有location上传到location指定的位置上，没有的话上传到hive默认配置的数据仓库中。

外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 

那么，应该如何选择使用哪种表呢？在大多数情况没有太多的区别，因此选择只是个人喜好的问题。但是作为一个经验，如果所有处理都需要由Hive完成，那么你应该创建表，否则使用外部表！

 


远有青山
关注
Hive讲课笔记：内部表与外部表
howard2005的专栏
12-28 1702
Apache Hive作为大数据处理的重要工具，其内部表与外部表是两种核心的数据存储和管理机制。内部表由Hive全权管理，数据存储在HDFS特定目录下，删除时会连同元数据及HDFS数据一同删除；创建过程包括定义表结构、插入数据等步骤，并且完全依赖于Hive系统。
hive外部表改为内部表_Hive内部表与外部表的区别
weixin_42631411的博客
01-13 560
1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】。2.内部表数据由Hive自身管理，外部表数据由HDFS管理。3.内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】，外部表数据存储位置由用户自己决定。4.删除内部表会直接删除元数据【metad...
hive中的内部表和外部表
qq_51666324的博客
10-23 3092
未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）。 区别 1. 内部表数据由Hive自身管理，外部表数据由HDFS管理； 2.内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS的/user/hive/warehouse文件夹下以外...
Hive内部表与外部表
weixin_71667809的博客
03-29 1232
外部表被drop后，表的metadata会被删除，但是data不会被删除。（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。内部表(managed table): 未被external修饰的表，也叫管理表。外部表：删除表会删除表的元数据(metadata)，但不会删除表数据（data）。内部表：删除表会删除表的元数据(metadata)和表数据（data）。
Hive内部表与外部表区别详解
最新发布
走过冬季
05-29 694
Hive 内部表（Managed Table）和外部表（External Table）的核心区别在于。内部表更适合生命周期短暂、完全由单一 Hive 作业流程控制的中间数据。理解这一点至关重要。
内部表和外部表的区别
qq_43528451的博客
09-26 1297
内部表和外部表的区别 ​ EXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（Location），Hive创建内部表时，会将数据移动到数据仓库指定的路径下；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删出数据。 ...
Hive【内部表、外部表、临时表、分区表、分桶表】【总结】
xiayuhaisong的博客
02-19 3553
分区提供了一个隔离数据和优化查询的可行性方案，但是并非所有的数据集都可以形成合理的分区，分区的数量也不是越多越好，过多的分区条件可能导致很多分区上没有数据。分桶表会将指定的列的值进行哈希散列，并对bucket（桶数量）取余，然后存储到对应的bucket中。分区表和分桶表的本质都是将数据按照不同粒度进行拆分，从而使得在查询的时候不必扫描全表，只需要扫描对应的分区或分桶，从而提升查询的效率。如果查询的where子句中包含分区条件，则直接从该分区查找，而不是扫描整个目录，合理的分区可以极大的提高查询速度和性能。
Hive 内部表与外部表
qq_63735758的博客
03-26 1026
内部表(managed table): 未被external修饰的表，也叫管理表。外部表(external table):被external修饰的表。
如何判断 Hive 表是内部表还是外部表
一个8年大数据开发工程师的碎碎念
11-09 1331
在使用 Apache Hive 进行大数据处理时，理解表的类型（内部表或外部表）对于数据管理和维护至关重要。当删除内部表时，Hive 会删除元数据和存储在 Hive 仓库中的数据文件。：Hive 仅管理表的元数据，数据文件由用户自行管理。了解表的类型对于数据的生命周期管理非常重要，特别是在删除表时，可能会影响到数据的存储。了解表的类型有助于避免意外的数据丢失，并有助于制定合理的数据管理策略。：对于重要的数据，无论是内部表还是外部表，建议定期备份。：在删除表之前，务必确认表的类型，避免误删重要数据。
Hive内部表合并小文件Java程序
07-05
首先，理解Hive内部表和外部表的区别是关键。内部表的数据由Hive完全管理，删除内部表会同时删除其对应的数据。而外部表仅仅是一个指向实际数据的引用，删除外部表不会影响数据。在这个场景下，我们关注的是内部表，...
Hive部分：hive中内部表和外部表的区别
wyqwilliam的博客
07-16 3190
以下是官网中关于external表的介绍： A table created without the EXTERNAL clause is called a managed table because Hive manages its data.  Managed and External Tables  By default Hive creates managed tables, where ...
Hive内部表和外部表
feizuiku0116的博客
10-17 146
一、内部表 create table test_tb_n( name string )row format delimited fields terminated by ','; 二、外部表 外部表创建关键词是external，删除外部表只是删除元数据 create external table test_tb_ext( name string )row format delimited fields terminated by ',' location '/ming'; ...
Hive内部表及外部表
weixin_44246850的博客
01-06 1万+
1、内部表 内部表，也叫托管表，是Hive在创建表时的默认表。 特点：在内部表被删除后，表的元数据和表数据都从HDFS中完全删除 ①：首先创建一个student内部表 hive> create table if not exists student( > id string, > name string > ) > row format delimited > fields terminated by '\t'; ②查看
Hive 的内部表与外部表有什么区别？
热门推荐
Shockang的博客
06-20 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 建表语法的区别 外部表在创建的时候需要加上=external=关键字 创建表 创建内部表时，会将数据移动到数据仓库指向的路径; 若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变删除表时: 删除表 内部表删除后,表的元数据和真实数据都被删除了 外部表删除后,仅仅只是把该表
hive的内部表和外部表
qq_45450889的博客
04-06 666
一、 内部表（管理表） hive全程管理 表和数据 的生命周期：当删除一个管理表时，hive也会删除这个表中的数据，管理表的数据，元数据以及存储位置 创建表时不特别指定就是内部表 hive默认情况会将表的数据存储在/user/hive/warehouse的子目录下 二、 外部表 为啥要用：不适合和其他工具共享数据 hive之管理数据，不管理元数据：删除表的时候不会删除表的数据，描述表的元数据信息会被删掉 创建外部表：create external table 表名 (id int,name strin
内部表和外部表
weixin_50035474的博客
04-05 258
内部表和外部表 内部表和外部表的区别 创建表时，未被external修饰的是内部表，被external修饰的为外部表。 内部表数据存储的位置是hive.metastore,warehouse.dir,外部表数据的存储位置由自己制定。 如果没有Location,Hive将在HDFS上的/user/hive/warehouse文件夹以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里。 删除内部表会直接删除元数据及存储数据，删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除。 ...
Hive外部表和内部表的区别
a3125504x的博客
07-07 502
Hive外部表和内部表的区别Hive外部表和内部表的区别 Hive外部表和内部表的区别 创建表语句 外部表：创建表时指定external关键字创建的是外部表 内部表：创建表时不指定external创建的表是内部表，即创建表默认创建的是内部表 存储位置 内部表：内部表默认存储在/user/hive/warehouse处，由配置项hive.metastore.warehouse.dir的值决定 外部表：外部表默认也是存储在/user/hive/warehouse处，使用Location关键字可以指定存
hive 外部表和内部表
03-14
<think>嗯，用户想了解Hive的外部表和内部表。我应该先回忆一下Hive的基本概念。Hive是基于Hadoop的数据仓库工具，用来处理结构化数据，使用HQL查询。内部表和外部表是其中两种表类型，关键区别在于数据生命周期管理。 首先，内部表，也叫管理表。当创建内部表时，Hive会管理数据存储的位置，通常是HDFS的默认路径，比如/user/hive/warehouse。删除内部表时，元数据和实际数据都会被删除。这适合临时数据，用户不需要关心数据残留的问题。 然后是外部表。创建时需要指定外部关键字，并且要定义数据的位置。这时候Hive只管理元数据，实际数据存储在用户指定的路径。删除外部表时，只删除元数据，数据仍然保留在原来的位置。这对需要多个工具共享数据的情况非常有用，比如同时用Hive和Spark处理同一份数据，避免误删。 接下来要考虑用户可能的实际应用场景。比如，用户可能需要外部表来避免误删生产数据，或者内部表用于中间结果的临时存储。还要注意语法差异，创建外部表需要用EXTERNAL关键字和LOCATION指定路径。 另外，需要提醒用户注意权限问题，外部表的数据位置可能需要适当的HDFS权限设置。还有数据恢复的可能性，内部表一旦删除，数据就没了，而外部表的数据还在，除非手动删除。 可能用户在使用中遇到的问题，比如误删内部表导致数据丢失，或者外部表路径配置错误导致数据无法访问。需要强调根据使用场景选择合适的表类型，确保数据安全和高效管理。 总结一下，回答的结构应该先定义两种表，然后对比它们的特点，包括数据管理、存储位置、删除行为、应用场景等。最后给出使用建议，帮助用户根据需求选择。要确保语言清晰，步骤分明，避免技术术语过于复杂，让用户容易理解。</think>Hive中的外部表（External Table）和内部表（Internal Table，又称管理表）是两种数据管理方式，主要区别在于**数据生命周期控制权**和**存储位置管理**。以下是详细对比与分析： --- ### 一、内部表（Managed Table） #### 1. 特点 - **数据管理权**：Hive完全控制数据生命周期。 - **存储位置**：默认存储在Hive的仓库目录（如`/user/hive/warehouse`），路径由Hive自动分配。 - **删除行为**：删除表时，**元数据（表结构）和实际数据文件**会同时被删除。 #### 2. 适用场景 - 临时数据或中间结果。 - 需要Hive完全管理数据时（如测试环境）。 #### 3. 创建语法 ```sql CREATE TABLE managed_table ( id INT, name STRING ); ``` --- ### 二、外部表（External Table） #### 1. 特点 - **数据管理权**：用户或外部系统控制数据生命周期。 - **存储位置**：需手动指定路径（如`LOCATION '/user/data/logs'`）。 - **删除行为**：删除表时，**仅删除元数据**，实际数据文件保留。 #### 2. 适用场景 - 多系统共享数据（如Hive与Spark共用同一份数据）。 - 防止误删生产数据（如日志文件、原始数据备份）。 #### 3. 创建语法 ```sql CREATE EXTERNAL TABLE external_table ( id INT, name STRING ) LOCATION '/user/data/external_table'; ``` --- ### 三、核心差异对比 | 特性 | 内部表 | 外部表 | |---------------------|--------------------------|---------------------------| | **数据存储位置** | Hive默认路径 | 用户自定义路径 | | **数据删除行为** | 删除表时同时删除数据 | 删除表时保留数据 | | **数据控制权** | Hive管理 | 用户管理 | | **应用场景** | 临时数据、测试环境 | 生产数据、多系统共享 | --- ### 四、使用建议 1. **优先选择外部表**： 若数据需要长期保留或被其他工具访问，外部表更安全。 2. **明确存储路径**： 创建外部表时，务必通过`LOCATION`指定可读写的HDFS路径。 3. **数据恢复**： 误删外部表后，可通过重建表（指定原路径）恢复数据；内部表数据无法恢复。 --- ### 五、示例验证 1. **验证删除行为**： ```sql -- 删除内部表（数据消失） DROP TABLE managed_table; -- 删除外部表（数据保留） DROP TABLE external_table; ``` 2. **迁移表类型**： ```sql -- 将内部表转为外部表 ALTER TABLE managed_table SET TBLPROPERTIES('EXTERNAL'='TRUE'); ``` --- 通过合理选择外部表或内部表，可以优化数据管理流程，避免因误操作导致数据丢失。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值