Oracle 下 1万和5万分批删除数据的性能差异

最新推荐文章于 2024-06-29 21:06:31 发布

原创最新推荐文章于 2024-06-29 21:06:31 发布 · 944 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#oracle

本文通过实际案例展示了不同批量大小对数据库删除操作性能的影响。测试结果显示，在相同时间内，采用每批50000条记录的方式能更快完成全部数据的删除工作。

总记录数580万左右，删除前已检查过执行计划，为最优执行计划。下面是删除数据花费的时间：

分批删除数据时间对比
每批记录数	总时间	被删记录数
10000	2个小时	删了约300万条
10000	5.5小时	全部删除
50000	1.5小时	全部删除

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

source0

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

ClickHouse与Oracle对比：企业数据分析迁移指南

AI架构师小马

08-23

781

本文将从技术特性、性能表现、成本结构、适用场景四个维度，全面对比ClickHouse与Oracle在企业数据分析场景下的核心差异；并以"迁移"为主线，提供从评估、准备、实施到优化的全流程指南，帮助企业平稳过渡到高效、经济的分析平台。本质差异：ClickHouse是列式存储分析引擎，在海量数据聚合查询性能上远超Oracle，且成本更低；迁移前提：适合迁移海量数据批处理/实时分析场景，需评估数据类型、SQL复杂度、性能目标；核心步骤：环境准备→数据迁移（全量+增量）→SQL改造→性能优化→验证上线；

oracle用delete删除数据所需时间测试

wdyliuxingfeiyang的博客

11-18

5181

一千万数据量所需时间16分钟左右两千万数据量所需时间

参与评论您还未登录，请先登录后发表或查看评论

oracle巨大表的数据删除的方法，20分钟搞定

wwwlh的专栏

01-01

5863

oracle巨大表的数据删除的方法，20分钟搞定一个客户的日志表，已经有3000多千万的记录了，容量大约30G，打算维护一下，看了一下字段，发现日志是按日期记录的，打算只保留3个月的日志就好了。第一个思路：按条件查出来，直接DELETE试了一下delete from NTLS_LOGS where to_char(START_TIMES,yyyy-mm-

Oracle中大批量删除数据的方法

09-11

Oracle中大批量删除数据的方法

Oracle删除数据非常慢的问题及解决方法

xiaoweids的博客

07-15

4375

以上为个人经验，希望能给大家一个参考，也希望对大家有所帮助。微点阅读。

oracle大数据量删除方案

牛尚小的博客

02-01

1742

oracle进行大数据量删除的时候，容易报错表temp表空间空间不够导致删除失败，此时的处理方案有：方案一：分批删除，提交之后继续执行方案二：当剩下的数据量小于待删除的数据量时，可以使用转表的方式来实现。这里重点介绍转表的方案。步骤一、导出表结构进入PL/SQL DEVELOPER【工具】-【导出用户对象】，选择表所属的模式，选择表，导出到指定文件。步骤二、修改对象的名称，包括：表名，索引名，约束名步骤三、执行表创建的语句，不执行create table之外的语句，特别是索引

Oracle存储过程update分批提交,[Oracle存储过程批量插入1000万数据][以及如何改变一个dbf文件的大小][Oracle存储过程批量插入1000万数据以及如何改变一个dbf文件的大小...

weixin_27155667的博客

04-02

834

[Oracle存储过程批量插入1000万数据][以及如何改变一个dbf文件的大小][Oracle存储过程批量插入1000万数据以及如何改变一个dbf文件的大小]--改变一个dbf文件的大小select * from dba_data_files;--先查找alter database datafile 'F:\PROGRAM FILES\ORACLEDATABASE\ORCL\IDEA.DBF' ...

oracle批量删除

02-26

在Oracle数据库中，当需要处理大量数据，如删除超过50万条记录时，直接使用单个删除语句可能会导致资源占用过多，甚至可能引发锁表问题，影响其他并发操作。为了解决这个问题，通常会采用批量处理的方式，分批进行...

oracle 怎么使用sqluld2 分批导出csv文件最多500万条数据一个文件，

最新发布

03-29

好的，我需要帮助用户了解如何使用Oracle的SQLULDR2工具分批导出CSV文件，每个文件最多500万条数据。首先，我得确认自己对SQLULDR2的理解是否正确。SQLULDR2是第三方工具，通常用于高效导出大量数据，用户可能需要先...

SqlServer 远程删除1000万数据需要多久？

songjuntao8的专栏

04-13

1453

SqlServer 远程删除1000万数据需要多久？

oracle使用delete删除1080万条数据的时间

m18096602934的博客

06-29

533

使用条件删除，实测用时4-5分钟，非常快速。

使用Oracle和服务器内存，数据处理效率对比

firefly2123的专栏

03-25

552

在编写聚合点数据处理过程中，得到如下数据：方式类型为：A：临时表为公共数据库表，不停的插入删除临时表，获取分析数据，数据每完成一条，写入一次B：临时表为处理服务器内存中的DataTable结构，数据写入采用buffer方式，每个比例尺写入一次C：每个图层创建一个临时表，生成的数据采用buffer方式保存，不使用事务机制持续时间数据量数据生成点方式类型3:5839781530A0:2239782158B0:3439782160C44:173560720654A36:493560727078B9:3935607

oracle数据库如何快速删除大批量数据（千万级）

在路上的羊先森

04-04

2万+

针对数据量比较大的情况最好是分表，但是分表是有代价的，分表后程序也要做响应调整，这要求在前期规划的时候就要考虑到这个问题。更普遍的做法采用分区比较多（个人看法）同时对老数据进行转移，比如对登录日志、盘存信息等可以将5年以前的数据进行归档，放到另外一张表中，使在用的表保持在一定的数据量（比如1000万，500万）。那么在归档完成后肯定需要对原表数据进行删除，这个时候删除的数据量可能就会比较大(500万，1000万)。那么在删除大量数据的方法有哪些呢？本文针对oracle数据库为例说明各种方法。

如何在Oracle中批量删除数据

辰风的专栏--Oracle/ClearCase管理员日记

10-07

9624

在一个ORACLE数据库运行过程中，有时候会遇到要批量删除数据的情况，如一个保存历史数据的表中有大量的数据已经不需要保留，要将这部分数据删除。以下就这种情况可以采取的方法进行讨论。 1、使用TRUNCATE命令进行删除。如果是整个表的数据都要删除的话，使用TRUNCATE TABLE命令是理想的选择。它删除了表中的所有数据，并且因为不写REDO LOG FILE，所以速度很快。删除

大量数据删除的方法

02-21

1081

在处理大数据量时，删除Oracle数据库表中的数据可以通过多种方式来优化性能。

Oracle 大表数据删除/清理方法小结

Hehuyi_In的博客

08-03

9516

costdown遇到了大量数据清理的需求，整理下基本思路及方法。

Oracle删除数据消耗时间大吗,oracle 删除大量数据的方法

weixin_42393127的博客

04-12

1588

如果全表删除直接用truncate table tabl1;就可以了，如果是需要根据条件删除，正常是用delete方法进行删除，但这样删除由于要写日志(用nologging方法对delete方法无效)，数据量大了会非常的慢，所以可以参照下面的方法来进行。我的步骤是(下边操作都是在plsql中运行的)1、首先将这个月的数据导出到一个临时表中(这些数据是自己希望保留的)create table te...

oracle 快速删除大批量数据方法（全部删除，条件删除，删除大量重复记录）

热门推荐

稻草人的高粱地

05-24

12万+

全部删除 如果是删除某个表的所有数据，并且不需要回滚，使用 TRUNCATE 就ok了。关于Trancate 参见这里http://blog.youkuaiyun.com/gnolhh168/archive/2011/05/24/6442561.aspx SQL> truncate table table_name; 条件删除 如果删除数据有条件，如 delete from tablename where col1 = 'lucy';这时除了加索

oracle数据库按照筛选条件一次性删除一千万条数据

03-12

<think>嗯，用户问的是Oracle数据库如何一次性删除一千万条数据。首先，我得确认用户的需求。删除大量数据的时候，直接执行DELETE语句可能会有问题，比如回滚段不够，锁表时间长，影响性能，甚至可能让数据库挂起。所以得考虑更有效的方法。首先想到的是分批次删除。一次性删一千万条的话，事务太大，容易导致undo空间不足，而且锁的时间长。用循环分批删除，比如每次删5000条，直到删完。但需要确保有合适的索引，否则每次的DELETE操作会全表扫描，效率低下。同时，分批删除的时候记得加WHERE条件，避免全表锁。然后，可能要考虑使用TRUNCATE，但用户是有筛选条件的，TRUNCATE只能清空整个表或者分区，所以如果数据符合某个分区，可以删除分区。但前提是表已经做了分区，按条件对应的字段分区的话，比如按时间范围，这时候DROP PARTITION会很快。不过如果没分区的话，可能就不适用了。另外，使用临时表的方法。把不需要删除的数据插入到新表，然后重命名。这种方法在数据量大的时候比较有效，因为INSERT AS SELECT比逐条删除快，而且产生的redo和undo日志少。但需要考虑空间问题，因为新表需要足够的存储空间，并且在切换过程中可能会有短暂的服务不可用。还有，要注意高水位线的问题。DELETE操作不会释放空间，而TRUNCATE或者MOVE会。所以如果删除大部分数据后，可能需要收缩表或者重建索引，来回收空间，提升性能。此外，NOLOGGING选项可以在插入时减少日志量，加快速度。但要注意备份，因为NOLOGGING操作可能无法用日志恢复。还有并行处理，用并行DML来加速，但需要根据系统资源调整。最后，提醒用户在操作前备份数据，使用生产环境的测试环境先验证，避免误删。同时，考虑在业务低峰期操作，减少对业务的影响。可能还需要更新统计信息，重建索引，保证后续查询效率。</think>在Oracle数据库中一次性删除千万级数据，需要结合性能、事务管理和资源占用综合考虑。以下是分步骤的解决方案及注意事项： --- ### **一、常规DELETE语句的风险** 直接执行`DELETE FROM table WHERE condition`存在三大问题： 1. **事务回滚段暴增**：千万级删除生成大量undo数据，可能触发`ORA-01555`错误 2. **锁表时间长**：长时间持有行锁/表锁，阻塞其他DML操作 3. **性能瓶颈**：单次提交消耗大量内存和日志资源 --- ### **二、推荐方案：分批删除** #### **步骤1：创建带ROWID的游标** ```sql DECLARE CURSOR c_del IS SELECT rowid FROM table WHERE condition ORDER BY rowid; -- 确保有序扫描 TYPE del_array IS TABLE OF ROWID INDEX BY PLS_INTEGER; l_rowids del_array; BEGIN OPEN c_del; LOOP FETCH c_del BULK COLLECT INTO l_rowids LIMIT 5000; -- 每批5000条 EXIT WHEN l_rowids.COUNT = 0; FORALL i IN 1..l_rowids.COUNT DELETE FROM table WHERE rowid = l_rowids(i); COMMIT; -- 分批提交 END LOOP; CLOSE c_del; END; / ``` #### **步骤2：优化关键点** - **LIMIT值调整**：根据测试调整批量大小（建议5000-20000） - **索引优化**：确保WHERE条件字段有索引，避免全表扫描 - **并行处理**：添加`/*+ PARALLEL(4) */`提示（需评估服务器资源） --- ### **三、高级方案：分区表优化** 如果目标表是分区表且删除条件匹配分区键： ```sql ALTER TABLE table DROP PARTITION partition_name UPDATE INDEXES; ``` 特点： - 数据字典级操作（秒级完成） - 不产生undo日志 - 需要预定义分区策略 --- ### **四、替代方案：CTAS（Create Table As Select）** 适用场景：需保留少量数据时 ```sql CREATE TABLE new_table NOLOGGING PARALLEL 8 AS SELECT * FROM old_table WHERE保留条件; -- 重命名表（需停机维护） ALTER TABLE old_table RENAME TO old_table_bak; ALTER TABLE new_table RENAME TO old_table; -- 重建约束、索引等 ``` --- ### **五、删除后维护** ```sql -- 回收高水位空间 ALTER TABLE table MOVE; -- 重建索引 ALTER INDEX index_name REBUILD ONLINE; -- 更新统计信息 EXEC DBMS_STATS.GATHER_TABLE_STATS('SCHEMA','TABLE'); ``` --- ### **六、性能对比** | 方法 | 时间消耗 | 资源占用 | 锁级别 | 可回滚性 | |---------------|----------|----------|--------------|----------| | 直接DELETE | 极高 | 极高 | 行级锁 | 支持 | | 分批DELETE | 中等 | 可控 | 短暂行级锁 | 支持 | | DROP PARTITION| 秒级 | 最低 | 分区级DDL锁 | 不支持 | | CTAS | 快 | 高 | 表级排他锁 | 不支持 | --- ### **七、注意事项** 1. **备份优先**：操作前执行`expdp`或`RMAN`备份 2. **日志模式**：建议开启归档模式 3. **空间监控**：确保表空间有20%以上空闲 4. **业务窗口**：选择低峰期操作 5. **外键约束**：检查相关约束关系实际执行前建议在测试环境验证，可通过`EXPLAIN PLAN`分析执行计划，使用`DBMS_MONITOR`跟踪会话性能。