数据插入之insert into 和 insert overwrite

最新推荐文章于 2025-07-11 09:00:00 发布
原创 最新推荐文章于 2025-07-11 09:00:00 发布 · 6.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

本文详细介绍了Hive作为基于Hadoop的数据仓库工具，提供了四种数据导入方式，包括从本地文件系统、HDFS、以及其他Hive表中导入数据。同时对比了insert into与insert overwrite两种数据插入指令的区别，前者追加数据，后者则会重写数据。

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。通常hive包括以下四种数据导入方式：

（1）从本地文件系统中导入数据到Hive表；

（2）从HDFS上导入数据到Hive表；

（3）在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中；

（4）从别的表中查询出相应的数据并导入到Hive表中。

两者的异同

insert into 与 insert overwrite 都可以向hive表中插入数据，但是insert into直接追加到表中数据的尾部，而insert overwrite会重写数据，既先进行删除，再写入。如果存在分区的情况，insert overwrite会只重写当前分区数据。

【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区、动静态分区_hive insert into
2401_89190931的博客
01-15 987
insert overwrite table 插入动静混合分区，如果被插入表原来就有该分区，删除原来该分区下数据，重新插入；insert overwrite table 插入动态分区，如果被插入表原来就有该分区，删除原来该分区下数据，重新插入；insert into table 插入动静混合分区，如果被插入表原来就有该分区，则追加插入数据；insert into table 插入动态分区，如果被插入表原来就有该分区，则追加插入数据；2、字段和目标表动态分区的对应关系是由字段顺序决定，并不是由列名称决定的。
【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区、动静态分区_hive insert into(1)
2401_84615650的博客
05-10 814
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取from test_1_tmp t ; select * from test_1; desc test_2_tmp;±-----------±-----------±---------+ | col_name |
insert into与insert overwrite
weixin_43797368的博客
08-19 1307
insert into：以追加数据的方式插入到表或分区，原有数据不会删除 insert overwrite：会覆盖表中已存在的数据
【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区
sodaloveer的博客
11-15 2万+
使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区
Hive SQL 三大利器：Cross Join、insert overwrite、select distinct 实战详解
最新发布
XDLYSJ的博客
07-11 2497
Hive数据处理中三大核心操作解析：CrossJoin适用于生成全量维度组合（如地区-月份），但需警惕数据量爆炸；insertoverwrite是数据重写利器，可实现全量更新和分区覆盖，建议配合备份和动态分区使用；selectdistinct是精准去重工具，大数据量时推荐改用GROUP BY或ROW_NUMBER优化性能。三大操作协同使用可显著提升ETL效率，但需根据业务场景合理选用，并注意性能优化与数据安全。掌握这些技巧将帮助开发者在Hive数据处理中游刃有余。
insert中overwrite 与分区
热门推荐
qq_15403863的博客
04-23 2万+
由https://blog.youkuaiyun.com/qq_41797451/article/details/80346361 这个链接我们可以知道overwrite 的作用是先删再写。 如果由分区，则删分区。 那么有分区，写的时候是怎么写呢？ 下面我们来验证一下 use db; set hive.exec.dynamic.partition=true; set hive.exec.dynamic....
sql之insert into和insert overwrite区别
xiaoxiao_2001的博客
08-10 8839
insert into和insert overwrite均可以将数据保存到对应表中， 二者区别： insert into：直接向表中插入数据 insert overwrite：先清空表中的原有数据，再向表中插入数据
hive 之 insert into 和 insert overwrite 的区别和用法（实战）
wowulita123的博客
04-26 7137
hive 之 insert into 和 insert overwrite 的区别和用法
INSERT OVERWRITE 与 先 DELETE 再 INSERT INTO 对比
一个8年大数据开发工程师的碎碎念
06-18 2138
在hive或者spark的sql中 INSERT OVERWRITE 与 先 DELETE 再 INSERT INTO 对比，始终推荐使用INSERT OVERWRITE
hive 桶表 插入数据方式 insert into overwrite
hello_java_lcl的博客
11-01 2094
因为数据异常，需要在hive桶表中插入历史分区数据，一开始的SQL： insert overwrite table桶表partition(partition='2020-10-30') select * from分区表twhere t.partition='2020-10-30' 报错： org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticExce...
Hive中 insert into 和 insert overwrite的区别
qq_53157924的博客
11-20 1560
insert into 和 insert overwrite 都是往表中插入数据的。
Hive - INSERT INTO vs INSERT OVERWRITE区别
学习 记录 总结 分享
03-31 3361
Hive - INSERT INTO vs INSERT OVERWRITE区别 两者的异同： insert into 与 insert overwrite 都可以向hive表中插入数据，但是insert into直接追加到表中数据的尾部， 而insert overwrite会重写数据，既先进行删除，再写入。如果存在分区的情况，insert overwrite会只重写当前分区数据。 在使用Hive时，我们经常遇到两种不同类型的insert HiveQL命令insert INTO和insert OVERW
hive操作
xuhualei88的专栏
11-14 615
1、insert  into 语句 hive> insert into table userinfos2 select id,age,name from userinfos; 只是插入，不覆盖原本数据 2、insert overwrite语句 hive> insert overwrite table userinfos2 select id,age,name from userinfo
insert into和insert overwriter 的区别
qq_43279647的博客
02-25 1788
insert into和insert overwriter 的区别？ insert into：直接向表或静态分区中插入数据 insert overwriter：先清空表中原有的数据，再向表或静态分区中插入数据。 hive与mysql的insert语法又有区别： hive在insert into | insert overwriter后面需要加table关键字，再加table_name mysql在 insert into | insert overwriter后面直接加table_name .
【Hive】insert into 与 insert overwrite的区别
hyj
09-06 3313
insert into 和 insert overwrite区别
使用insert into和insert overwrite插入数据的区别【Hive or Odps】
一宿君
07-18 5722
使用insert into和insert overwrite插入数据的区别【Hive or Odps】
记 insert overwrite
upupfeng的博客
03-11 1万+
insert into 向表中插入数据 , 不管表中是否有数据 , 都向表的尾部插入 insert overwrite 插入数据时 , 会先将表中的数据删除 , 然后在进行插入 使用insert overwrite时 , 如果插入的表是分区表, 只会删除插入分区对应的分区数据, 而不会对其他分区的数据进行删除 (可以使用insert overwrite 加分区表实现日常数据的增量更新) cre......
insert 和 insert into
QZC295919009的专栏
01-23 1962
INSERT INTO TABLENAME VALUES( ’值1‘，’值2‘，’’值3‘...) 数字就不用’ ‘啦 这种插入的格式的意思是，你表中有多少个字段，VALUES（）中就必须写多少个字段，即使有的字段你不想写入数据，也必须写的。 INSERT TABLENAME (字段1，字段2，字段3...) value (’值1‘，’值2‘，’值3‘...) TABLEN
Hive中insert into和insert overwrite的区别
weixin_43190860的博客
06-04 6245
insert into 和 insert overwrite 都是往表中添加数据 区别： insert into：将数据追加到表的末尾 insert overwrite：覆盖之前的数据 语句： insert into： hive>insert into [table] student select * from stu;（将select * from stu的查询结果追加到student表的...
insert into和insert overwrite
03-27
<think>好的，我现在要解释一下Hive中的INSERT INTO和INSERT OVERWRITE的区别。首先，我得确认自己正确理解这两个操作的功能和应用场景。用户可能在使用Hive进行数据插入时，对这两个命令的具体作用不太清楚，需要明确的对比和例子来帮助他们选择合适的方法。 首先，我应该回顾一下HiveQL中数据插入的基本知识。Hive作为数据仓库工具，允许用户通过类SQL语句来管理存储在HDFS上的大数据集。INSERT语句用于向表中添加数据，但不同的关键字会导致不同的结果。 接下来，我需要明确INSERT INTO和INSERT OVERWRITE的核心区别。根据之前的了解，INSERT INTO是向表中追加数据，而INSERT OVERWRITE则会先删除表中的原有数据，再插入新数据。但可能需要注意分区的情况，因为当指定分区时，OVERWRITE可能只覆盖特定分区，而不是整个表。这一点可能需要详细说明，避免用户误解。 然后，我需要考虑语法结构。正确的语法示例能帮助用户更直观地理解两者的不同。例如，INSERT INTO TABLE table_name ... 和 INSERT OVERWRITE TABLE table_name ...。同时，如果涉及到动态分区，可能需要提到需要设置的参数，比如hive.exec.dynamic.partition.mode=nonstrict。 接下来，应用场景的对比很重要。用户需要知道什么时候该用追加，什么时候该替换。比如，每日增量数据适合用INSERT INTO，而定期全量更新可能更适合INSERT OVERWRITE。此外，错误数据修复的场景，可能需要用OVERWRITE来覆盖特定分区的错误数据。 还需要注意一些使用注意事项。例如，OVERWRITE的危险性，因为它会删除数据，尤其是在没有备份的情况下。权限问题也可能存在，用户是否有权限执行覆盖操作。另外，性能方面，OVERWRITE可能因为删除操作而比INTO更耗时，特别是数据量大的时候。 然后，我应该考虑是否需要举例说明。例如，假设有一个用户表user_data，分区是dt。使用INSERT INTO追加新数据，而使用INSERT OVERWRITE来更新某天的数据。具体的例子能让用户更清楚两者的实际操作结果。 最后，要确保回答结构清晰，分点说明，可能使用标题或分段来组织内容。同时，避免使用Markdown格式，但保持条理性。需要检查是否有遗漏的关键点，比如动态分区的处理、外部表和内部表在OVERWRITE时的不同行为（比如外部表的数据是否被删除）等。不过，可能用户的问题不涉及这么深入，但如果有必要可以简要提及。 总结一下，回答的结构应该是先概述两者的定义和区别，然后详细说明各自的语法、应用场景、注意事项，并辅以例子。这样用户能够逐步理解，并根据自己的需求选择合适的插入方式。</think>在Hive中，`INSERT INTO`和`INSERT OVERWRITE`是两种向表中插入数据的操作，核心区别在于**是否保留表中原有数据**。以下是详细对比： --- ### 一、`INSERT INTO`：追加数据 #### 定义 - **作用**：将新数据**追加**到目标表或分区中，保留原有数据。 - **语法**： ```sql INSERT INTO TABLE table_name [PARTITION (分区列=值, ...)] SELECT ... FROM source_table ...; ``` #### 应用场景 - **增量插入**：例如每日新增日志、订单等需要保留历史记录的场景。 - **多来源汇总**：从多个表查询结果合并到同一张表。 #### 示例 假设表`user_log`已存在2023-10-01的日志： ```sql -- 追加2023-10-02的日志到同一表 INSERT INTO TABLE user_log PARTITION(dt='2023-10-02') SELECT user_id, action FROM tmp_log WHERE dt='2023-10-02'; ``` 结果：表中包含`2023-10-01`和`2023-10-02`的数据。 --- ### 二、`INSERT OVERWRITE`：覆盖数据 #### 定义 - **作用**：**先删除目标表或分区的数据**，再插入新数据。 - **语法**： ```sql INSERT OVERWRITE TABLE table_name [PARTITION (分区列=值, ...)] SELECT ... FROM source_table ...; ``` #### 应用场景 - **全量更新**：定期用最新全量数据替换旧数据（如每日全量用户表）。 - **修复数据**：覆盖错误分区或错误数据。 - **中间表清理**：临时表每次使用时需要清空旧数据。 #### 示例 覆盖`2023-10-01`分区的数据： ```sql -- 覆盖2023-10-01分区的旧数据 INSERT OVERWRITE TABLE user_log PARTITION(dt='2023-10-01') SELECT user_id, action FROM tmp_log WHERE dt='2023-10-01'; ``` 结果：`dt='2023-10-01'`分区的原有数据被删除，仅保留新插入的数据。 --- ### 三、关键注意事项 1. **分区覆盖行为**： - 如果指定具体分区（如`PARTITION(dt='2023-10-01')`），`OVERWRITE`仅覆盖该分区。 - 如果不指定分区，`OVERWRITE`会删除整表数据。 2. **动态分区**： ```sql -- 动态分区需先设置参数 SET hive.exec.dynamic.partition.mode=nonstrict; INSERT OVERWRITE TABLE user_log PARTITION(dt) SELECT user_id, action, dt FROM tmp_log; ``` 3. **外部表风险**： - 对**外部表**使用`OVERWRITE`时，Hive仅删除元数据，实际数据仍存于HDFS（可能需手动清理）。 4. **性能差异**： - `OVERWRITE`因需删除数据，通常比`INTO`更耗时（尤其数据量大的场景）。 --- ### 四、总结对比 | 操作 | 数据保留性 | 典型场景 | 分区行为 | |---------------------|------------------|----------------------------|-----------------------| | `INSERT INTO` | 追加，保留旧数据 | 增量更新、多来源合并 | 可指定具体分区追加 | | `INSERT OVERWRITE` | 覆盖，删除旧数据 | 全量更新、数据修复、中间表清理 | 未指定分区时覆盖整表 | 根据业务需求选择操作，避免误删数据！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值