Hive外部表操作

本文介绍了如何在Hive中创建外部表,并详细说明了如何将数据从本地磁盘导入到HDFS,以及如何加载这些数据到外部表中。此外,还解释了删除外部表时数据的实际存放情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

HIVE外部表:

1、创建外部表

   create external table external_table(name string) location "/external/tables/users";


2、将数据从本地磁盘导入到hdfs文件系统

   hadoop fs -put /usr/hadoop/test/test.txt /test

   上述命令如果改成:

   hadoop fs -put /usr/hadoop/test/test.txt /external/tables/users

   下面第三步将不用执行了,在hive shell执行命令:

   select * from external_table; 即可看到表中数据

 

3、加载外部表数据

   load data inpath '/test/test.txt' into table external_table;

   注意:此步骤是将数据从hdfs文件系统中的一个目录移动到外部表所在的另

   一个目录,如下图:


     

4、删除外部表

   drop table external_table;

   注意:该步骤只是将元数据删除,目录:/external/tables/users下面的数据依然存在.

Hive 中,外部表(External Table)的设计特点是仅存储表的元数据定义,而实际数据存储在外部存储系统中(如 HDFS)。因此,直接删除外部表的数据不会像管理内部表(Managed Table)那样自动清除底层数据[^1]。 要删除 Hive 外部表中的数据,需采取以下方法之一或组合使用: ### 删除外部表的元数据 如果仅需要移除表的定义,而不删除底层数据,可以使用 `DROP TABLE` 语句: ```sql DROP TABLE IF EXISTS external_table_name; ``` 此操作仅删除 Hive 中的表定义,原始数据仍然保留在其存储位置[^1]。 ### 手动删除底层数据 由于外部表的数据不由 Hive 管理,因此需要手动从存储系统中删除数据。例如,如果数据存储在 HDFS 上,可以使用以下命令: ```bash hadoop fs -rm -r /path/to/external/table/data ``` ### 清空外部表数据(保留元数据) 若希望清空外部表的数据但仍保留其定义,可以采用以下方法: 1. **重命名外部表并重建**: - 首先重命名原表: ```sql ALTER TABLE external_table_name RENAME TO external_table_name_old; ``` - 然后创建一个空的外部表: ```sql CREATE EXTERNAL TABLE external_table_name ( column1 STRING, column2 INT ) LOCATION '/path/to/new/data/location/'; ``` 2. **使用分区表**(如果适用): - 如果外部表是分区表,可以删除特定分区数据: ```sql ALTER TABLE external_table_name DROP IF EXISTS PARTITION (partition_column='value'); ``` - 此操作会删除对应的元数据,但底层 HDFS 数据仍需手动清理[^1]。 ### 使用 Hive ACID 事务(需启用事务支持) 如果 Hive 环境支持 ACID 事务(Hive 0.14+),可以将外部表设置为事务表,并使用 `DELETE` 语句: ```sql DELETE FROM TABLE external_table_name WHERE condition; ``` 此方法要求 Hive 表和文件格式支持事务性操作,并且底层存储系统需兼容 ACID 语义。 ##
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值