Hive External Table 外部表

最新推荐文章于 2024-06-04 22:47:33 发布
原创 最新推荐文章于 2024-06-04 22:47:33 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #大数据 #hadoop #external table #外部表

本文详细介绍了Hive中外部表的使用方法，包括创建、加载数据及查询等操作步骤，并对比了外部表与内部表在数据存储上的差异。

Hive 的外部表与内部表区别

  1. 在导入数据到外部表，数据导入到建表语句中 LOCATION 参数指定的 HDFS 目录下即可；
  2. 删除表的时候，Hive 会将表的元数据信息删除掉，但导入的数据信息是不会被删除的；

Hive 外部表示例

1）创建外部表

创建的时候用 LOCATION 指定原数据存储的路径，不指定的话 hive 会在 /usr/hive/warehouse 下以外部表的表名创建目录并将数据存储在这里

创建表

$ CREATE EXTERNAL TABLE t_external (year string, month int, num int)

        ROW FORMAT DELIMITED

        FIELDS TERMINATED BY ','

        LOCATION '/user/test/t_extends'

此时在 HDFS 上创建了空目录 /user/test/t_extends

同时，在 MySQL 中记录的 Hive 元数据中添加了表的信息：

mysql > select * from TBLS\G;

*************************** 5. row ***************************                                                                                                       
            TBL_ID: 21                                                                                                                                               
       CREATE_TIME: 1663561577                                                                                                                                       
             DB_ID: 1                                                                                                                                                
  LAST_ACCESS_TIME: 0                                                                                                                                                
             OWNER: hadoop                                                                                                                                           
        OWNER_TYPE: USER                                                                                                                                             
         RETENTION: 0                                                                                                                                                
             SD_ID: 21                                                                                                                                               
          TBL_NAME: t_external                                                                                                                                       
          TBL_TYPE: EXTERNAL_TABLE                                                                                                                                   
VIEW_EXPANDED_TEXT: NULL                                                                                                                                             
VIEW_ORIGINAL_TEXT: NULL                                                                                                                                             
IS_REWRITE_ENABLED:                                                                                                                                                  
5 rows in set (0.00 sec)

数据文件 t_extends.txt

$ vim t_extends.txt

2019,02,15                                                                                                                                                           
2020,10,01                                                                                                                                                           
2021,03,19                                                                                                                                                           
2022,01,10                                                                                                                                                           
2022,03,21                                                                                                                                                           
2022,09,19

加载数据

可用：

$ hdfs dfs -put t_extends.txt /user/test/t_extends

也可以用：

hive> load data local inpath '/home/centosm/test/hive' into table t_external

加载数据后文件被导入到 /user/test/t_extends/ 目录下：

$ hdfs dfs -ls /user/test/t_extends/

Found 1 items                                                                                                                                                        
-rw-r--r--   3 hadoop supergroup         66 2022-09-19 14:18 /user/test/t_extends/t_extends.txt

文件内容

$ hdfs dfs -cat /user/test/t_extends/t_extends.txt

2022-09-19 14:43:42,163 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false                           
2019,02,15                                                                                                                                                           
2020,10,01                                                                                                                                                           
2021,03,19                                                                                                                                                           
2022,01,10                                                                                                                                                           
2022,03,21                                                                                                                                                           
2022,09,19

在 hive 中查询 t_external 表

hive> select * from t_external;

OK                                                                                                                                                                   
2019    2       15                                                                                                                                                   
2020    10      1                                                                                                                                                    
2021    3       19                                                                                                                                                   
2022    1       10                                                                                                                                                   
2022    3       21                                                                                                                                                   
2022    9       19                                                                                                                                                   
Time taken: 3.177 seconds, Fetched: 6 row(s)

查询外部表中的文件路径

hive> select INPU__FILE__NAME form t_external;

OK                                                                                                                                                                   
hdfs://mycluster/user/test/t_extends/t_extends.txt                                                                                                                   
hdfs://mycluster/user/test/t_extends/t_extends.txt                                                                                                                   
hdfs://mycluster/user/test/t_extends/t_extends.txt                                                                                                                   
hdfs://mycluster/user/test/t_extends/t_extends.txt                                                                                                                   
hdfs://mycluster/user/test/t_extends/t_extends.txt                                                                                                                   
hdfs://mycluster/user/test/t_extends/t_extends.txt                                                                                                                   
Time taken: 0.213 seconds, Fetched: 6 row(s)

删除表

如果删除表，表的元信息被删除，因为是外部表，数据文件没有被删除：

hive> drop table t_external;

MySQL 中元数据被删除：

mysql> select * from TBLS where TBL_NAME='t_external';

Empty set (0.00 sec)

数据文件还在：

$ hdfs dfs -ls /user/test/t_extends/

Found 1 items                                                                                                                                                        
-rw-r--r--   3 hadoop supergroup         66 2022-09-19 14:18 /user/test/t_extends/t_extends.txt

Hive讲课笔记：内部表与外部表
howard2005的专栏
12-28 1902
Apache Hive作为大数据处理的重要工具，其内部表与外部表是两种核心的数据存储和管理机制。内部表由Hive全权管理，数据存储在HDFS特定目录下，删除时会连同元数据及HDFS数据一同删除；创建过程包括定义表结构、插入数据等步骤，并且完全依赖于Hive系统。
Hive External Table of Doris（详细）
qq_43688472的博客
01-26 3617
Hive External Table of Doris（详细）
hive 外部表、内部表、静态分区、动态分区、临时表
kevin
08-15 1977
内外部表区别 1.内部表由hive自己管理数据(所以hive删表会删元数据和主数据)，(主)数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）; 外部表数据由HDFS管理(所以hive删表会删元数据，但不会删主数据)，(主)数据存储位置由自己建表时指定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的数据库名/表名创建一个文件夹，并将属于这个表的数据存放在这里）。 h..
hive中的内部表和外部表
qq_51666324的博客
10-23 3133
未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）。 区别 1. 内部表数据由Hive自身管理，外部表数据由HDFS管理； 2.内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS的/user/hive/warehouse文件夹下以外...
hive mysql 外部表_hive外部表
weixin_42104181的博客
02-15 749
我们在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时，该表也会读取到该文件(当然文件格式必须跟表定义的一致)，删除外部表的同时并不会删除location指定目录下的文件.1.查看hdfs系统目录/user/hadoop1/myfile下文件[hadoop1@node1]$ hadoop fs -ls /user/h...
hive中的外表EXTERNAL TABLE
朝着梦想 渐行前进
05-26 3113
hive中的外表EXTERNAL TABLE
Hive内部表和外部表
01-07
创建表时使用关键字external创建的表就是外部表，没有使用该关键字创建的表就是内部表。 删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元...
Hive 的概念、应用场景、安装部署及使用、数据存储 、table(内部表)和external table(外部表)、partition(分区表)和bucket(分桶表)
Jalen big data analysis的博客
12-02 1487
目录 1、Hive 的概念 2、Hive 的特点 3、Hive 和 RDBMS（关系型数据库） 的对比 4、Hive 和 HBase 的差别 5、Hive 架构 6、Hive安装与使用方法介绍 7、Hive 的数据存储 8、table(内部表)和external table(外部表) 9、partition(分区表)和bucket(分桶表) 1、Hive 的概念 1...
hive外部表改为内部表_Hive内部表与外部表的区别
weixin_42631411的博客
01-13 597
1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】。2.内部表数据由Hive自身管理，外部表数据由HDFS管理。3.内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】，外部表数据存储位置由用户自己决定。4.删除内部表会直接删除元数据【metad...
hive外部表直接查mysql,Hive数据库和表操作命令参考
weixin_32348697的博客
03-19 678
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件Hive数据库和表操作1.Hive数据库操作1.1查看数据库显示数据库；使用like关键字进行模糊匹配＃显示带有db_前缀的数据库名称显示类似” db_ *”的数据库；1.2使用数据库使用数据库名称1.3创建数据库创建数据库dbname;通过位置指定数据库路径创建数据库dbname位置”路径”；将描述性信息添加到数据库...
hive mysql 外部表_Hive创建外部表以及分区
weixin_35983438的博客
01-19 418
创建带分区的外部表 创建外部表的好处是数据可以随时从hdfs中挂载进表中 使用分区的好处是可以缩短查询范围 下面的例子展示了如何创建外部表 CREATE EXTERNAL TABLE my_daily_report( last_update string, col_a string, col_b string, col_c string, col_d创建带分区的外部表创建外部表的好处是数据可以随时...
hive mysql 外部表_Hive内部表与外部表
weixin_29775951的博客
02-01 447
今天开始从Hive表中查询数据，发现部分表是采用External外部表方式，过来记录下相关信息Hive中内部表与外部表的区别：Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。需要...
hive mysql 外部表_Hive中的几种表（内部表、外部表...）
weixin_34972980的博客
02-01 1114
这里是在基于完成mysql数据库的安装后使用Hive：在windows中使用navicat远程登录到Linux下面的mysql数据之后，在mysql数据库里面有个DBS表，该表存放的就是hive表在hdfs系统中的路径，这里默认应该是hdfs://hadoop0:9000/user/hive/warehouse，现在为了简单将默认存放路径修改为/hive，那么这里会显示为：hdfs://hadoo...
大数据BigData之hive External Table的一些特点
weixin_34377919的博客
01-13 219
External Table 只有一个过程，加载数据和创建表同时完成（CREATE EXTERNAL TABLE ……LOCATION），实际数据是存储在 LOCATION 后面指定的 HDFS 路径中，并不会移动到数据仓库目录中。 当删除一个 External Table 时，仅删除hive的元数据，不会删除hdfs上对应的文件。 转载于:https://juejin.im/post/5c3b...
Hive 之Table、External Table、Partition(五)
Stay Focused And Work Hard !!!
03-25 1万+
一、 有关Hive的一些小结： Hive 是一个建立在hadoop文件系统上的数据仓库架构，可以用其对hdfs上数据进行分析与管理。 实际上是将hdfs上的文件映射成table（按文件格式创建table,然后hive的数据仓库会生成对应的目录，默认的仓库路径：user/hive/warehouse/tablename，目录名与这个表名相同，这时只要将符合table定义的文件加载到该目录便可通过...
hive create extenal table
Java&&大数据专栏
08-19 1333
create external table IF NOT EXISTS adv_struct_stock_week( uv string, freqflag int, sectionid int, areaid int, province string, city string, frequence bigint, stock bi
Hive外部表
qq_67715741的博客
06-04 885
外部表因为是指定其他的hdfs路径的数据加载到表中来，所以hive会认为自己不完全独占这份数据，删除hive表的时候，数据仍然保存在hdfs中，不会删除。注：删除外部表时，只会删除MySQL上对应的元数据，不会删除HDFS上面的数据。二.外部表建表语句（external关键字）
hive表之外部表
lepton126的专栏
04-23 947
hive之外部表1、指向已经在HDFS中存在的数据，在外部表中也可创建partition2、外部表和内部表在元数据的组织上相同的，元数据可以保存在MYSQL数据库中举例如下$ hdfs dfs -put stduent01,stduent02,student03 /inputhive>create external table external_student(sid int,sname s...
Hive建立外部表表external table
热门推荐
zxlove
01-22 1万+
Hive建表（外部表external）： CREATE EXTERNAL TABLE `table_name`( `column1` string, `column2` string, `column3` string) PARTITIONED BY ( `proc_date` string) ROW FORMAT SERDE 'org.apache.hadoop
hive 内部表 外部表
最新发布
11-04
### 区别 内部表和外部表是 Hive 中两种重要的表类型，它们在数据存储、生命周期、数据共享和迁移等方面存在显著差异。内部表适用于数据完全由 Hive 管理，数据生命周期短，不需要与其他系统共享数据的场景。外部表适用于数据需要与其他系统共享，数据生命周期长，需要长期保留的场景 [^2]。 Hive的数据分为表数据和元数据，表数据是 Hive 中表格具有的数据，而元数据是用来存储表的名字、表的列和分区及其属性等。无论内部表还是外部表，Hive 都在 Hive Metastore 中管理表定义、字段类型等元数据信息。删除内部表时，除了会从 Metastore 中删除表元数据，还会从 HDFS 中删除其所有数据文件；删除外部表时，只会从 Metastore 中删除表的元数据，并保持 HDFS 位置中的实际数据不变 [^1][^4]。 当希望 Hive 完全控制数据的存储位置和生命周期，并且删除表时数据也应被删除，选择内部表；当数据独立于 Hive 存在或被共享，Hive 只是用来查询它，并且需要确保删除 Hive 表定义不会删除底层数据，选择外部表，这是保护重要数据和实现多引擎共享的推荐做法 [^3]。 ### 创建 - **内部表创建示例**： ```sql CREATE TABLE internal_table ( id INT, name STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; ``` - **外部表创建示例**： ```sql CREATE EXTERNAL TABLE external_table ( id INT, name STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/path/to/external/data'; ``` ### 使用 内部表和外部表在使用上，查询语句基本一致。例如查询内部表和外部表： ```sql SELECT * FROM internal_table; SELECT * FROM external_table; ``` 内部表由于数据完全由 Hive 管理，在插入、更新等操作时，Hive 可以更直接地处理。而外部表更多用于读取已经存在的数据，并且可以与其他系统共享数据。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值