数据字典表中保存几天数据，历史数据删除后会自动优化（rebuild index,降低HWM）么？...

最新推荐文章于 2025-12-31 19:19:25 发布
转载 最新推荐文章于 2025-12-31 19:19:25 发布 · 145 阅读 · 0
文章标签：

#数据库

探讨Oracle10g数据库中数据字典表的维护策略，包括定期清理历史数据的重要性及对性能的影响，提出针对敏感数据字典表的人工优化处理建议。
Oracle 10g  

Oracle一些收集统计信息或监控性能的数据字典表，一般数据量还是比较大的， 一般都是保留几天时间，比如7天，
那么也就是说每天会删除7天以前的历史数据， 如果数据库运行几年时间， 而没有对数据库中数据字典表的数据做
任何处理(一般只是对用户表数据做迁移，备份，删除等处理) 。 这样是否会影响到性能 ？  对于比较敏感的数据字典
表，是否需要我们人工对这些表进行优化处理呢  ？

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/35489/viewspace-678505/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/35489/viewspace-678505/

cuixie2370
关注
Oracle 归档历史数据,[生产库实战] 采用存储过程对生产线历史表数据进行归档...
weixin_32297123的博客
04-09 1147
生产线历史数据归档是数据库运维的一项日常基本工作。在建表设计时，通常都将数据流水表(如：日志、用户登录历史，软件下载记录，用户属性更改历史表等)设计为范围分区表、间隔分区表(11G)，当超过业务要求的保留范围时，此数据基本是静态数据且应用程序再不对其进行访问，但有可能会由于某些特殊要求需要手动查询。在这个情况下，都将其数据从生产库归档至历史库，并对其进行压缩保存，如果超出特殊要求查询的范围，那就直...
关于字典列表储存原理
咸鱼!!!
03-11 657
names = ["a", "b", 'c', 'd'] data = {} a = [] for i in names: data["name"] = i a.append(data) print(a) -------------------------- 结果： [{'name': 'd'}, {'name': 'd'}, {'name': 'd'}, {'name': 'd'...
如何删除字典数据？
黑子的程序员生涯
09-01 5516
所谓字典就是数据库应用中被其他表(通常加以外键约束)引用的表，如客户表引用客户类型，那么客户类型即为字典表。删除字典数据要考虑是否已被其他数据引用，一般不允许做级联删除。这个问题想必大家都碰到过，但各有各的 做法。本人与若干同事讨论过，将各种做法总结一下。 物理删除，即用delete SQL删除。如果字典数据被引用，则会抛出违反外键约束的异常，将其封装为可读的信息提示给用户。JD
字典 (dict) 的增删改查及操作方法
。
08-25 5910
目录 字典 (dict)  1、增 2、删  3、改  4、查 字典 (dict)  　　字典是python中唯一的映射类型，采用键值对（key-value）的形式存储数据。python对key进行哈希函数运算，根据计算的结果决定value的存储地址，所以字典是无序存储的，且key必须是可哈希的。可哈希表示key必须是不可变类型，如：数字、字符串、元组。 　　字典(dictiona...
大数据量rebuild index的经历
gguxxing008的专栏
04-12 1215
1. 为什么要rebuildindex? 在表上频繁的update和delete的操作会导致索引出现很多空间碎片，从而使得访问该索引的SQL查询效率下降，通过rebuild index,可以回缩空间碎片，并提供查询效率。 2. 问题描述 OS信息： Solaris 10 数据库信息： Oracle 10.2.0.4，两节点的RAC 需要重建schema(TLMDBA)下所有的索引
10亿数据狂删2亿，Oracle表碎片整理分析讨论！
Jackyimi的博客
09-29 964
面对10亿数据、1000分区的Oracle表删除2亿数据后的碎片难题，本文深度对比SHRINK SPACE、MOVE与在线重定义三大方案，揭秘分区级精细化处理策略，附索引协同处理与19c新特性差异解读，助你彻底摆脱性能断崖与空间浪费！
Oracle中大批量删除数据的方法
建伟博客
04-24 3872
站内相关文章|Related Articles Oracle中审计删除（DELETE）操作的触发器 dbms_sqltune解析SQL的BIND_DATA绑定变量值 SQL 共享之 ROLL_INVALID_MISMATCH 含义 CBO中 SMON 进程与 col_usage$ 的维护 10g临时表空间组导致递归SQL高度解析案例 批量删除海量数据通常都是很复杂及缓慢的
SYSAUX表空间占用过大情况下的处理（AWR信息过多）
小麦苗DBA宝典
04-12 4111
SYSAUX表空间占用过大情况下的处理（AWR信息过多） 真题1、 SYSTEM和SYSAUX表空间存储的内容有哪些区别？若SYS...
SQL Server 2008中的数据表压缩功能详细介绍
12-15
在SQL Server 2008中，数据表压缩功能是一个重要的优化工具，旨在减少数据库的存储需求，提高管理效率，并可能提升查询性能。这个特性在SQL Server 2005 SP2的基础上进行了扩展，引入了vardecimal存储格式，主要用于...
精选资源
oracle数据查询慢如何优化.txt
10-15
### Oracle 数据查询慢的优化策略 在日常的数据库管理与维护工作中，经常会遇到Oracle数据库查询速度慢的问题。本文将从几个方面对Oracle查询调优进行详细的解析，包括但不限于SQL语句优化、索引管理和统计信息收集...
精选资源
VI.zip_labview_labview数据采集
09-23
在这个"VI.zip_labview_labview数据采集"的压缩包中，包含了一个使用NI-pIX6002数据采集卡的LabVIEW程序，以及两个文件："绘图3.vsdx"和"DAQ6002Rebuild"。 1. **NI-pIX6002数据采集卡**：这是一个高性能的PCIeDAQ...
SQL Server 2008的数据压缩和解密.pdf
09-19
SQL Server 2008的数据压缩和解密是数据库管理中的关键特性，旨在优化存储空间利用率和提升查询性能。本文将深入探讨SQL Server 2008中的数据压缩技术，包括行级压缩、页级压缩以及相关的处理方法。 1. **行级压缩*...
Dvwa靶场搭建_错误汇总
最新发布
sjsn_z的博客
12-31 593
本文介绍了网站安全基础知识和DVWA靶场搭建方法。主要内容包括： 网站安全概述：解释了为何网站成为主要攻击目标，并介绍了OWASP组织及其TOP 10安全报告 常见漏洞类型：详细列举了SQL注入、命令执行、文件上传等9种主要漏洞及其危害 DVWA靶场介绍：说明这个专门设计的漏洞练习平台的功能和价值 详细搭建步骤：提供从环境准备到最终配置的完整指南，包括PHPStudy安装、DVWA部署、数据库配置等关键环节 常见问题解决：针对数据库连接、CSRF令牌错误等问题提供解决方案 安全级别说明：解释Low到Impo
点赞系统问题
amdkk的博客
12-26 1181
​​：Spring Pulsar 提供的接口，允许通过customize方法深度定制消费者行为。批量接收策略配置。：控制批量消息接收策略maxNumMessages：单次批量拉取多少条信息timeout：超时后触发批量处理。NACK重试策略当消费者调用时触发重试。：消息重投递的退避策略接口。.minDelayMs(1000) // 初始延迟 1 秒 .maxDelayMs(60000) // 最大延迟 60 秒 .multiplier(2) // 指数退避倍数。
第二篇：Linux服务器性能优化实战技巧（提升稳定性与效率）
ybmzlqzj的博客
12-27 571
调整TCP连接超时时间：net.ipv4.tcp_keepalive_time = 600（TCP保持连接的空闲时间，默认7200秒，缩短为10分钟，快速释放无效连接）、net.ipv4.tcp_keepalive_intvl = 30（保持连接探测间隔时间）、net.ipv4.tcp_keepalive_probes = 10（探测失败后重试次数）。使用nice命令调整进程优先级：nice -n -5 ./app（启动app进程，设置优先级为-5，nice值范围-20~19，值越小优先级越高）。
Vue3中v-if与v-show的本质区别及动态组件状态保持的关键策略是什么？
https://blog.cmdragon.cn/
12-30 1199
特性v-ifv-showDOM存在与否销毁/重建始终存在切换成本高（销毁重建）低（改CSS）初始渲染成本低（不满足则不渲染）高（必渲染）适用场景切换频率低（如权限控制）切换频率高（如tab切换）
Oracle数据库有什么特点？Java项目中，向Oracle数据库插入几百万条数据该如何优化？
06-13
<think>我们正在回答用户的问题："Oracle数据库特点Java项目批量插入几百万条数据优化方法"结合用户提供的引用和之前的回答，我们将从以下两个方面展开：一、Oracle数据库的核心特点（特别是影响数据插入性能的方面）二、在Java项目中优化批量插入数百万条数据的具体方法注意：用户引用虽然提供了一些信息，但有些并非直接相关，我们需要结合专业知识和之前的回答进行总结。一、Oracle数据库的核心特点（与批量插入相关）1.**ACID事务支持**：Oracle严格遵循ACID原则，这意味着每次插入都会产生重做日志（RedoLog）和回滚段（Undo），保证数据的一致性和可恢复性，但这在高频插入场景下会成为性能瓶颈[^2]。2.**多版本并发控制（MVCC）**：Oracle通过回滚段实现多版本并发控制，避免读写阻塞。但在大批量插入时，如果事务过长，会积累大量回滚段，导致空间不足或性能下降[^2]。3.**存储结构**：数据存储在表空间中，表空间由数据文件组成。Oracle的数据块（Block）是I/O的最小单位（通常8KB）。直接路径插入（Direct-Path）可以绕过BufferCache直接写数据文件，大幅提升速度。4.**索引维护**：索引虽然提高了查询速度，但每次插入都需要更新索引，在批量插入场景下，索引维护开销巨大[^3]。5.**日志机制**：重做日志（RedoLog）记录所有变更。在大量插入时，日志切换和归档会消耗I/O资源。可以使用`NOLOGGING`模式减少日志生成（但需权衡数据安全）[^2][^4]。二、Java项目中的批量插入优化方法（基于百万级数据量）1.**禁用自动提交，使用批处理事务**-引用[4]中提到：关闭自动提交，将数据放入缓存后手动提交。-示例代码：```javaConnectionconn=DriverManager.getConnection(url,user,password);conn.setAutoCommit(false);//关闭自动提交PreparedStatementpstmt=conn.prepareStatement("INSERTINTOtableVALUES(?,?)");for(inti=0;i< recordCount;i++){pstmt.setString(1,value1);pstmt.setInt(2,value2);pstmt.addBatch();//加入批处理if(i%10000==0){//每10000条提交一次pstmt.executeBatch();conn.commit();}}pstmt.executeBatch();//提交剩余记录conn.commit();```-**优化点**：批处理大小（BatchSize）建议在1000-5000条之间，根据内存调整。过小则网络交互频繁，过大会占用过多内存[^4]。2.**使用PreparedStatement绑定变量**-避免SQL解析开销，使用预编译语句。-示例代码同上。3.**调整批处理大小与JVM参数**-增加批处理大小可减少数据库交互次数。-增大JVM堆内存（-Xmx参数），避免频繁GC导致暂停。4.**使用直接路径加载（如OracleConnection）**-在JDBC中利用Oracle专有特性：```java((OracleConnection)conn).setDefaultExecuteBatch(10000);pstmt=conn.prepareStatement("INSERT/*+APPEND*/INTOtableVALUES(?,?)");```-`/*+APPEND*/`提示符启用直接路径插入，但注意：会锁定表（排他锁），且不产生重做日志（需要表设置为`NOLOGGING`）[^4]。5.**临时禁用索引和约束**-对于百万级数据，先禁用索引和约束，插入后再重建：```javaStatementstmt=conn.createStatement();stmt.execute("ALTERTABLEtable_nameDISABLECONSTRAINTconstraint_name");//执行批量插入...stmt.execute("ALTERTABLEtable_nameENABLECONSTRAINTconstraint_name");```-索引重建可并行化：```sqlALTERINDEXindex_nameREBUILDPARALLEL8;```6.**使用分区表策略**-将表按时间或范围分区，插入时定位到特定分区减少索引维护范围。7.**多线程并发插入（需谨慎）**-分割数据为多个子集，使用线程池并发插入，但需注意：-分区表或独立表可避免锁争用-控制并发连接数（连接池配置）-引用[3]中提到10W条数据耗时约70秒（含导出），多线程可进一步压缩时间。8.**替代方案：SQL*Loader或外部表**-若数据源为文件，优先选择SQL*Loader（命令行工具），速度远超JDBC[^4]。三、性能优化关键参数对比|方法|优化点|适用场景|预计速度提升||---|---|---|---||普通JDBC插入|无|小数据量|基准（100万条>30分钟）||批处理+事务控制|批大小/提交频次|Java程序生成数据|10-30倍||直接路径加载|APPEND提示符|可锁定表/允许不写日志|20-50倍||SQL*Loader|直接路径+并行|文件导入|50-100倍|**风险规避**：-直接路径插入：数据不写日志，需确保备份策略完备。-并发插入：事务隔离级别和死锁问题需要评估。四、实战建议流程：1.评估数据来源（程序生成/文件）2.若为文件，优先用SQL*Loader3.若需Java程序生成：a.关闭自动提交，使用批处理b.设置合理批处理大小（5000条/批）c.对目标表禁用索引和约束（重建需计入总时间）d.尝试直接路径插入（注意锁定表）4.监控性能瓶颈：-查看AWR报告中的等待事件（如"logfilesync","dbfilesequentialread"）-检查内存使用（PGA溢出会写入临时表空间）§§相关问题§§1.Oracle的直接路径插入与常规插入的底层差异是什么？2.在Java中如何实现多线程批量插入并避免死锁？3.SQL*Loader的并行加载配置有哪些关键参数？</think> ### Oracle数据库核心特点与Java批量插入优化指南 #### 一、Oracle数据库的核心特点（影响批量插入性能） 1. **ACID事务保证** - 严格的事务机制（`COMMIT`/`ROLLBACK`）导致每次插入需写重做日志（Redo Log）和回滚段（Undo），高频插入时成为性能瓶颈[^2]。 - **优化启示**：批量提交事务，减少日志写入频次。 2. **多版本并发控制（MVCC）** - 通过回滚段实现读写不阻塞，但大批量插入会积累大量回滚数据，可能触发`ORA-01555`快照过旧错误[^2]。 3. **物理存储结构** - 数据块（Block）是I/O最小单位（通常8KB），随机插入导致频繁块分裂；索引维护开销随数据量指数级增长。 - **优化启示**：使用直接路径插入（Direct-Path）规避Buffer Cache，减少I/O[^4]。 4. **日志机制** - 重做日志（Redo Log）大小切换和归档消耗I/O资源。`NOLOGGING`模式可跳过日志（风险需权衡）[^2][^4]。 --- #### 二、Java项目优化百万级批量插入方案 ##### 1. **JDBC批处理核心技巧** ```java try (Connection conn = DriverManager.getConnection(url, user, password)) { conn.setAutoCommit(false); // 关闭自动提交[^4] PreparedStatement ps = conn.prepareStatement("INSERT INTO table VALUES (?,?)"); for (int i = 0; i < 1_000_000; i++) { ps.setString(1, "value1"); // 绑定参数 ps.setInt(2, i); ps.addBatch(); // 加入批处理队列 // 分批次提交（每5000条） if (i % 5000 == 0) { ps.executeBatch(); conn.commit(); } } ps.executeBatch(); // 提交剩余数据 conn.commit(); } ``` **优化点**： - **批大小**：设置`5000-10000`条/批，过小则网络交互频繁，过大会OOM[^4]。 - **绑定变量**：避免SQL解析开销[^3]。 - **事务控制**：分批次提交减少UNDO表空间压力。 ##### 2. **Oracle专属优化手段 - **直接路径插入** ```java // 添加Hint绕过Buffer Cache PreparedStatement ps = conn.prepareStatement("INSERT /*+ APPEND */ INTO table VALUES (?,?)"); ``` - 速度提升20倍+，但表会被锁定（非并发场景适用）[^4]。 - 需配合表级`NOLOGGING`（先执行`ALTER TABLE table NOLOGGING`）。 - **禁用索引与约束** ```java Statement stmt = conn.createStatement(); stmt.execute("ALTER INDEX index_name UNUSABLE"); // 插入前禁用索引 // 执行批量插入... stmt.execute("ALTER INDEX index_name REBUILD"); // 插入后重建（并行加速） ``` - 重建索引时启用并行：`ALTER INDEX index_name REBUILD PARALLEL 8`[^3]。 ##### 3. **并发写入策略** ```java ExecutorService executor = Executors.newFixedThreadPool(4); // 按CPU核数设置 List<Future<?>> futures = new ArrayList<>(); // 分割数据为4份（每线程25万条） for (int i = 0; i < 4; i++) { futures.add(executor.submit(() -> batchInsert(dataChunk))); } for (Future<?> f : futures) f.get(); // 等待所有线程完成 ``` **注意**： - **分区表**：不同线程写入不同分区，避免锁争用。 - **连接池**：使用HikariCP等，设置`maxPoolSize=线程数`。 ##### 4. **替代方案：外部工具链** - **SQL*Loader**（终极方案） ```bash sqlldr user/pwd@db control=loader.ctl data=data.csv direct=true parallel=true ``` - `direct=true`：直接路径加载；`parallel=true`：多进程协作。 - **速度对比**：比JDBC快10倍以上（百万条5-10秒）[^3][^4]。 --- ### 性能对比与参数调优 | 方法 | 100万条耗时 | 适用场景 | |---------------------|-------------|-----------------------------| | JDBC单条插入 | >30分钟 | **禁止使用** | | JDBC批处理 | 30-60秒 | 实时生成数据 | | JDBC+直接路径 | 10-20秒 | 允许表锁定 | | SQL*Loader | 5-10秒 | 数据源为文件 | **关键参数调优**： ```sql ALTER SYSTEM SET log_buffer=256M; -- 增大日志缓冲区 ALTER SESSION SET COMMIT_WRITE='BATCH'; -- 延迟日志写入 ALTER TABLE table NOLOGGING; -- 关闭日志（需备份保障） ``` --- ### 注意事项 1. **内存管理**： - 批处理数据量需适配JVM堆大小（`-Xmx4G`）。 - 避免全量数据加载到内存，分批读取源文件/流。 2. **恢复策略**： - `NOLOGGING`模式下数据库崩溃可能导致数据丢失，需定期备份。 3. **监控指标**： - 关注AWR报告中的`log file sync`等待事件和PGA使用率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值