ODPS insert overwrite/into

最新推荐文章于 2025-10-03 18:00:00 发布

转载最新推荐文章于 2025-10-03 18:00:00 发布 · 2.2k 阅读

本文详细解释了Hive SQL中INSERT OVERWRITE与INSERT INTO的区别及用法。INSERT INTO用于向表或分区追加数据，而INSERT OVERWRITE则会先清空目标再插入新数据。

INSERT OVERWRITE/INTO
语法：
INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
select_statement
FROM from_statement;

insert into 是向表或分区中追加数据，而insert overwrite则先清空表或者分区，然后再插入数据

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/26613085/viewspace-1327424/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/26613085/viewspace-1327424/

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cuiba1921

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区

sodaloveer的博客

11-15

2万+

使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区

maxcompute上可以通过insertoverwrite来增加表的分区

qq_40967227的博客

01-07

1082

简单的记录一下下面是正常的创建分区表，添加分区，插入数据 --创建一张分区表sale_detail。 create table if not exists sale_detail ( shop_name string, customer_id string, total_price double ) partitioned by (sale_date string, region string); --给目标表增加分区。 alter table sale_detail_inser

参与评论您还未登录，请先登录后发表或查看评论

insert into与insert overwrite

weixin_43797368的博客

08-19

1342

insert into：以追加数据的方式插入到表或分区，原有数据不会删除 insert overwrite：会覆盖表中已存在的数据

【hive】hive中insert into 和insert overwrite区别

开发随笔-猫咪酱

10-19

2456

nsert into 和 insert overwrite 都是往表中添加数据区别： insert into：将数据追加到表的末尾 insert overwrite：覆盖之前的数据语句： insert into： hive>insert into [table] student select * from stu;（将select * from stu的查询结果追加到student表的后...

Hive高级数据插入深度解析：INSERT OVERWRITE vs INSERT INTO，一文掌握核心区别与实战应用

最新发布

zuiyuelong的博客

10-03

1181

在大数据生态系统中，Hive作为构建在Hadoop之上的数据仓库工具，承担着将海量数据转化为结构化信息的关键角色。它通过类SQL的HiveQL语言，让用户能够以更熟悉的方式处理分布式存储中的数据，而无需深入底层MapReduce的复杂细节。数据插入操作作为Hive数据管理的基础环节，直接影响着数据仓库的构建效率、数据质量以及后续分析的准确性。Hive最初的设计主要用于批量数据处理，其数据加载方式经历了从简单到复杂的发展过程。最基础的数据插入方式是通过LOAD DATA。

ODPS随笔记---内建函数TO_CHAR、TO_DATE、INSERT INTO

u010356237的博客

10-31

9589

ODPS内建函数TO_CHAR、TO_DATE的简单使用 1.TO_CHAR:将日期类型date按照format指定的格式转成字符串。 SELECT TO_CHAR('2018-10-27 22:17:55','yyyymmddhhmiss') as stg_rksj FROM dwd_dz_gj_ryjghxx_di; 返回20181027221755 2.TO_DATE:将一个format格式...

MaxCompute - 更新表数据（INSERT OVERWRITE and INSERT INTO）

基咯咯

05-09

3838

INSERT命令说明命令格式： INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [(col1,col2 ...)] select_statement FROM from_statement; 格式说明：在MaxCompute SQL处理数据的过程中，I...

ODPS SQL 优化总结

Code365

06-25

1433

通过CREATE TABLE或者ALTER TABLE语句，指定一个或者多个Cluster列，通过哈希方法，把数据存储分散到若干个桶里面，类似于这样：CREATE TABLE T (C1 string, C2 string, C3 int) CLUSTERED BY (C3) SORTED by (C3) INTO 1024 BUCKETS;

odps嵌套子查询

人生就像一场戏

08-07

848

insert overwrite table tmp12_cdm_cs_ark_ocs_detl partition(pt = '${bizdate}000000') select dt12.wo_id, to_char(dt12.ocs_date, 'yyyy-MM') as complaint_month, case when t1.transfer_source='厦门' then t1.complaint_source when t1.transfe.

阿里云 odps 文档.pdf

08-23

、ADD、ALL、ALTER、AND、AS、ASC、BETWEEN、BIGINT、BOOLEAN、BY、CASE、CAST、COLUMN、COMMENT、CREATE、DESC、DISTINCT、DISTRIBUTE、DOUBLE、DROP、ELSE、FALSE、FROM、FULL、GROUP、IF、IN、INSERT、INTO、IS、...

阿里云dataworks中业务流程中问题（odps2）

m0_46914845的博客

08-30

888

阿里云dataworks中业务流程中问题（odps2）

hive语法之insert overwrite/insert into

cclovezbf的博客

09-05

7830

这里提到了hive2.3.0之后如果表属性有("auto.purge"="true")，当insert overwrite的时候，之前的数据是不会移动到垃圾箱的(会移动哪里呢？这里提到了一个比较有意思的参数("immutable"="true") 这个单词是不可变的意思，insert into本身是追加的意思，加了这个参数后，就代表数据/分区只能被插入一次。---其实这个没啥说的主要是我在hive3.1看到表创建自动带purge=ture ，以为会有详细的解释的。

【Hive】insert into 和 insert overwrite

Asher117的博客

07-21

1110

insert into ：以追加的方式插入数据 insert overwrite：以覆盖的方式插入数据（先删除hive表中的数据，再插入数据）

Hive、Odps数据库中insert into 分区表的SQL

chuanjian3814的博客

09-21

2588

insert into table p_user partition(p1='2016',p2='0920')select * from user ; 注意：p_user和user的字段一样多。其中p1和p2表示分区的属性。 ...

使用insert into和insert overwrite插入数据的区别【Hive or Odps】

一宿君

07-18

5805

使用insert into和insert overwrite插入数据的区别【Hive or Odps】

odps sql 删除、更新、插入数据

热门推荐

用数据说话

04-06

1万+

ODPS不支持直接通过delete语句删除数据。对于非分区表通过“TRUNCATE TABLE table_name;”语句清空表数据，也可以用覆盖写的功能实现类似的功能。如要删除TableA表里的Col=1的数据，使用如下命令即可 INSERT OVERWRITE TABLE TableA SELECT FROM TableA WHERE Col <> 1; 要删除全部数据，类...

INSERT OVERWRITE 与先 DELETE 再 INSERT INTO 对比

一个8年大数据开发工程师的碎碎念

06-18

2474

在hive或者spark的sql中 INSERT OVERWRITE 与先 DELETE 再 INSERT INTO 对比，始终推荐使用INSERT OVERWRITE

✨[面试进阶]INSERT INTO 和 INSERT OVERWRITE 的区别？(Hive篇)✨

Maynor的博客

09-08

1686

???? 问题分析本题主要考察面试者对插入数据和覆盖数据的基本使用。 ???? 核心答案讲解 INSERT OVERWRITE 会覆盖已经存在的数据，假如，原始表使用OVERWRITE 上的数据，先将原始表的数据Remove，再插入新数据。 INSERT INTO 只是简单的插入，不考虑原始表的数据，直接追加到表中。 ???? 问题扩展 INSERT INTO Partition时，如果分区不存在，会自动创建分区。多个INSERT INTO Partition作业并发时，如果分区不存在，会自动创建

odpssql里的动态分区

09-24

在 ODPSSQL（即阿里云 MaxCompute SQL）中，**动态分区**是一种非常重要的功能，用于将数据根据某列的值自动写入不同的物理分区中。它类似于 Hive 中的 `INSERT ... SELECT ...` 动态分区机制。 --- ### ✅ 什么是动态分区？动态分区允许你在 `INSERT INTO TABLE ... SELECT` 语句中，根据 SELECT 查询结果中的某一列（或几列）的值，**自动决定数据写入哪个分区**，而不需要为每个分区单独写一条 INSERT 语句。 --- ### 🔧 使用动态分区的基本语法 ```sql SET odps.sql.allow.dynamic.partition=true; -- 必须开启动态分区开关 INSERT OVERWRITE|INTO TABLE table_name PARTITION (partition_col) SELECT select_list_without_partition_col FROM source_table [DISTRIBUTE BY partition_col]; -- 可选，但推荐使用 ``` > 注意：从 MaxCompute 2.0 开始支持动态分区，但需要显式开启参数。 --- ### 📌 示例说明假设你有一个日志表 `logs_raw`，结构如下： ```sql CREATE TABLE logs_raw ( user_id STRING, action STRING, server_time STRING -- 格式: '2025-09-22 13:00:01' ); ``` 你想按日期（`dt`) 分区插入到目标表 `logs_partitioned` 中： ```sql CREATE TABLE logs_partitioned ( user_id STRING, action STRING ) PARTITIONED BY (dt STRING); -- 分区字段 dt 表示 YYYYMMDD ``` 现在你想把 `server_time` 转成 `YYYYMMDD` 格式，并作为分区键动态写入： ```sql -- 启用动态分区（关键！） SET odps.sql.allow.dynamic.partition=true; INSERT OVERWRITE TABLE logs_partitioned PARTITION (dt) SELECT user_id, action, REPLACE(SUBSTR(server_time, 1, 10), '-', '') AS dt -- 生成分区值 FROM logs_raw WHERE server_time IS NOT NULL AND LENGTH(server_time) >= 10; ``` --- ### ✅ 关键点解释： | 要素 | 说明 | |------|------| | `SET odps.sql.allow.dynamic.partition=true;` | **必须设置**，否则会报错不支持动态分区 | | `PARTITION (dt)` 在 INSERT 子句中 | 声明这是动态分区写入 | | `dt` 出现在 SELECT 的最后 | SELECT 列表中最后一个字段是分区列的值 | | 不要在 SELECT 中包含其他分区列 | 分区列不能出现在非分区位置 | > ⚠️ 如果有多个分区列，比如 `(dt STRING, region STRING)`，则： > > ```sql > INSERT INTO TABLE t PARTITION (dt, region) > SELECT ..., dt_col, region_col FROM src; > ``` > 最后两列必须对应 `dt_col` 和 `region_col` --- ### 💡 推荐使用 `DISTRIBUTE BY` 优化性能为了防止数据倾斜和提升执行效率，建议对分区列进行分发： ```sql INSERT OVERWRITE TABLE logs_partitioned PARTITION (dt) SELECT user_id, action, REPLACE(SUBSTR(server_time, 1, 10), '-', '') AS dt FROM logs_raw WHERE server_time IS NOT NULL DISTRIBUTE BY dt; -- 将相同 dt 的数据发送到同一个 reducer ``` 这有助于减少 shuffle 并提高分区写入效率。 --- ### 🛑 常见错误与注意事项 | 错误 | 原因 | 解决方法 | |------|------|----------| | `Dynamic partition is not enabled` | 未开启动态分区 | 加上 `SET odps.sql.allow.dynamic.partition=true;` | | 分区列出现在 SELECT 中间位置 | 顺序错误 | 分区列必须放在 SELECT 最后 | | 写成了 `PARTITION (dt='xxx')` | 静态分区写法 | 改为 `PARTITION (dt)` 才是动态 | | 分区字段类型不匹配 | 如定义为 BIGINT，传入 STRING | 确保类型一致 | --- ### ✅ 动态分区 vs 静态分区对比 | 特性 | 静态分区 | 动态分区 | |------|----------|-----------| | 是否需指定分区名 | 是（如 `dt='20250922'`） | 否，由数据决定 | | 写多分区是否方便 | 每个分区都要写一条 INSERT | 一条 SQL 完成多个分区写入 | | 性能 | 简单场景快 | 大量分区更高效 | | 是否需要设置参数 | 否 | 是（`allow.dynamic.partition`） | ---