大表插入关闭日志，提高效率

最新推荐文章于 2024-06-29 13:29:37 发布
原创 最新推荐文章于 2024-06-29 13:29:37 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#insert #table

本文介绍了一种在数据库中进行大批量数据插入时提高效率的方法。通过将表设置为NOLOGGING并在插入语句中使用/*+append*/提示，可以避免每次插入都生成日志记录，从而显著提升插入速度。

若大批量插入数据，每插入一条记录，都会生成一条日志记录，可能速度会很慢。这时我们在插入时不生成日志。修改表为NOLOGGING，再在插入语句中嵌入/*+append*/提示

ALTER TABLE LCM_TASHARECURRENTS NOLOGGING; 

INSERT /*+append*/INTO LCM_TASHARECURRENTS
SELECT *
FROM tasharecurrents
NOLOGGING
;

【Oracle】Oracle多线程插入表，追加，不记录日志
tttzzzqqq2018的博客
05-18 192
在Oracle数据库中，可以通过多线程方式高效地插入数据，并且不记录日志以减少I/O开销。以下SQL语句展示了如何实现这一操作：使用/*+ append, parallel(t,8) */提示符，将数据从tzq_log_tmp表插入到tzq.tzq_log_t表中，同时指定nologging模式以避免日志记录。parallel(t,8)表示使用8个并行线程进行插入操作，append提示符则指示数据以追加方式插入，适用于大数据量场景。此方法适用于需要快速插入大量数据且不要求日志记录的场景。
Oracle并行不记录日志快速插入数据
tttzzzqqq2018的博客
07-26 1177
Oracle并行不记录日志快速插入数据
批处理优化-Oracle创建不记录日志的表
技术摸索和实践者
05-26 1735
Oracle创建不记录日志的表 https://www.cnblogs.com/ericnie/p/6741995.html 数据库处于归档模式 当表模式为logging状态时,无论是否使用append模式,都会生成redo.当表模式为nologging状态时,只有append模式,不会生成redo。 数据库处于非归档模式 无论是在logging还是nologing的模式下，append的模式都不会生成redo,而no append模式下都会生成redo。 下面仅说明使用append方式插入数据时日志产生的
oracle 插入不写日志,日志显示插入oracle数据成功，可是数据库没有记录？
weixin_39524147的博客
04-07 1109
你好，请帮我看下这个问题，谢谢。我用的1.60。用的这段代码：Map map = new HashMap();map.put(".table", "Entity_ZBJL");map.put("uuid", UUID.randomUUID().toString());map.put("muser", user);map.put("x", x);map.put("y", y);map.put("jl...
oracle插入數據关闭日志
m0_60746184的博客
06-29 431
無日志插入數據到表
进大厂必问的20道MySQL面试题，赶紧了解一下吧！
李文良的博客
09-10 677
前言：MySQL越学越多，你的头有越来越秃么？ 1、MySQL的复制原理以及流程 基本原理流程，3个线程以及之间的关联； 主：binlog线程——记录下所有改变了数据库数据的语句，放进master上的binlog中； 从：io线程——在使用start slave 之后，负责从master上拉取 binlog 内容，放进 自己的relay log中； 从：sql执行线程——执行relay log中的语句； 2、MySQL中myisam与innodb的区别，至少5点 (1)、问5点不同； 1&g
python提高mysql数据库插入数据效率
qq_37341324的博客
04-23 2477
python提高mysql数据库插入数据效率 1、insert的时候尽量多条一起插，不要单条插。这样可以减少日志量，降低日志刷盘数据量和频率，效率提高很多。 2、在事务中进行插入。也就是每次部分commit，否则每条insert commit 创建事务的消耗也是不小的。 3、 数据插入的时候保持有序。比如Innodb用的是B+树索引，对B+树的插入如果是在索引中间就会需要树节点分裂合并，这也会有一定的消耗。 修改前： #!/usr/bin/python3 # -*- coding: utf-8 -*- #
提高mysql插入数据的速度.pdf
09-30
为了提高数据插入的效率，可以采取多种技术手段和优化策略。文档中提到的多种方法可以归纳为以下几类知识点： 1. 利用MySQL的批量插入功能： - 在插入大量数据时，可以将多个INSERT语句合并在一起使用，以减少I/O...
高效批量插入Oracle中BLOB大字段的JDBC实现
性能优化方面，还需关注数据库端配置：如增加UNDO表空间、调整REDO日志大小、关闭索引或约束暂时提升写入速度（后续重建）、使用NOLOGGING模式插入（适用于可容忍数据丢失的场景）等。结合应用层的连接池（如...
批量写入tidb提高写入效率
shy_snow的专栏
05-30 3697
在url中增加allowMultiQueries=true&rewriteBatchedStatements=true&useConfigs=maxPerformance&useServerPrepStmts=true开启批量提交sql,并在代码中使用批量提交的方式提高写入效率; ps.addBatch(); if (i % batchSize == 0) { ps.executeBatch(); ...............
提高Java开发数据库效率的技巧.pdf
07-02
- **合理使用索引**：在数据库表中适当位置建立索引可以显著提高查询效率。合理地创建索引能够加快数据检索速度，但需要注意索引的维护成本，因为插入、删除和更新操作也会更耗时。 - **查询优化**：编写高效的SQL...
在进行INSERT INTO大量数据时，删除日志可以提交效率
xiuzhentianting的博客
09-06 1154
BACKUP LOG DBName WITH NO_LOG INSERT INTO XXX()SELECT FROM YYY
Oracle 插入大量数据
热门推荐
David Dai -- Focus on Oracle
10-29 2万+
 1. 采用高速的存储设备,提高读写能力，如：EMC 和NetApp， 2. 假如tab1表中的没有数据的话 DROP   TABLE   TAB1;CREATE   TABLE   TAB1   AS   SELECT   *   FROM   TAB2;然后在创建索引  3. 用Hint 提示减少操作时间    INSERT   /*+Append*/   INTO  
大表插入
我爱海
07-27 1500
当需要对一个非常大的表update的时候，会消耗非常多的资源，因为update表的时候，oracle需要生成 redo log和undo log;此时最好的解决办法是用insert, 并且将表设置为nologging;当把表设为nologging后， 并且使用/*+ append*/的insert时，速度是最快的，这个时候oracle只会生成最低限度的必须的redo log，而没有一点undo信息。如果有可能将index也删除，重建1.alter table table_name nologging;2. 
INSERT,UPDATE,DELETE时不写日志
javatoyou
01-21 1659
exec sp_dboption yourDB,'trunc. log on chkpt.',true 就可以在INSERT,UPDATE,DELETE时不写日志了 不过我觉得，这个其实属于危险操作，这是把整个数据库弄成不写日志了...
insert语句不打印日志信息
李志涛的专栏
06-29 2010
为了解决新疆入库出现的拥堵问题，目前采用临时措施，即修改数据库参数 commit，经这段时间观察，问题没有再现，由此可以确认，造成原因是入库时日志量过大，提交过于频繁导致。经此次会议讨论，最终达成一致，前端入库工具中所用insert into sql语句均需要改写，即用 insert /*+ append nologging */ into ... 代替原 insert into...。由于新疆二
SQLServer大数据量插入BULK INSERT
aiman5818的博客
09-02 842
SQLSERVER大数据量插入命令： BULKINSERT是SQLSERVER中提供的一条大数据量导入的命令，它运用DTS(SSIS)导入原理，可以从本地或远程服务器上批量导入数据库或文件数据。批量插入是一个独立的操作，优点是效率非常高。缺点是出现问题后不可以回滚。 　　BULKINSERT是用来将外部文件以一种特定的格式加载到数据库表的T-SQL命令。该命令使开发人员能够...
oracle开启/关闭日志归档模式
iteye_13854的博客
05-11 304
[b]oracle运行模式：归档模式(archivelog)\非归档模式(noarchivelog)[/b] 1、用oracle用户登录数据库服务器 2、连接数据库 [oracle@jumper oracle]$ sqlplus /nolog SQL>connect /as sysdba 3、查看当前归档模式 SQL>archive log list; 3、开...
mysql insert 不需要日志_MySQL数据库性能优化（1）「转」
weixin_39562579的博客
12-05 582
1、MySQL概述从本文开始我们将讨论建立在块存储方案之上的关系型数据库的性能优化方案和集群方案。关系型数据库的选型将以创业公司、互联网行业使用最广泛的MySQL数据为目标，但是MySQL的安装过程和基本使用方法等知识并不在我们讨论的范围内。后续几篇文章我们首先讨论影响单个MySQL节点性能的主要因素，然后介绍MySQL读写分离、数据表横纵拆分的原理和技术方案。MySQL数据库目前已被Oracle...
如何往数据库表中插入大量数据
最新发布
04-30
<think>好的，我现在要解决用户的问题：如何高效地将大量数据插入数据库表的最佳实践。首先，我需要回忆一下之前学过的相关知识，并结合用户提供的引用内容进行分析。 用户提到使用JDBC的批处理操作，这是Java中常用的方法。那首先，我应该确认批处理的基本步骤，比如关闭自动提交、使用addBatch和executeBatch方法。然后，可能需要考虑事务管理，因为频繁的提交会影响性能，所以批量提交是关键。 接下来，用户可能还需要其他优化方法，比如预处理语句（PreparedStatement），这可以减少SQL解析的开销。此外，调整批处理的大小也很重要，过大的批处理可能会导致内存问题，过小则效率不高，可能需要根据具体情况找到平衡点。 另外，引用中提到的连接池和索引的影响也需要注意。在插入大量数据时，暂时禁用索引和约束，插入完成后再重建，这样可以提高速度。不过，用户需要确保在禁用期间数据的一致性，避免因此引发问题。 还有，不同的数据库可能有特定的优化技巧，比如MySQL的rewriteBatchedStatements参数，或者使用LOAD DATA INFILE命令直接导入文件，这些都能显著提升性能。需要针对用户使用的数据库类型给出建议。 然后，考虑代码示例是否正确。比如，在示例中使用的是JDBC的批处理，是否每个批次后都执行并清除？是否合理设置了批处理大小？事务提交的位置是否正确？ 可能用户没有明确提到的点还有：使用多线程或并行处理，但要注意数据库连接的管理和事务的隔离级别。另外，数据库配置参数如日志写入、缓存大小也可能影响插入性能，但用户可能需要DBA权限才能调整这些。 最后，要确保回答结构清晰，分点列出最佳实践，并附上代码示例和相关问题。还要检查是否符合用户的格式要求，比如数学公式是否正确使用$符号，独立公式是否用$$，以及正确的中文回答和引用标识。</think>[系统级响应] 关于批量插入大量数据到数据库表的最佳实践，以下是经过验证的七种核心优化方案及其技术细节分析： 1. **JDBC批处理技术** ```java Connection conn = dataSource.getConnection(); conn.setAutoCommit(false); // 关闭自动提交 PreparedStatement ps = conn.prepareStatement( "INSERT INTO users (name,age) VALUES (?,?)"); final int BATCH_SIZE = 1000; for (int i=0; i<data.size(); i++) { ps.setString(1, data.get(i).name); ps.setInt(2, data.get(i).age); ps.addBatch(); if(i % BATCH_SIZE == 0 || i == data.size()-1) { ps.executeBatch(); conn.commit(); // 批量提交 ps.clearBatch(); } } ``` - 关键参数：批处理大小$BATCH_SIZE$建议取值500-2000，需通过压力测试确定最优值 - 性能提升：相比单条插入可提升$10-50$倍效率[^1] 2. **预处理语句复用** 使用$PreparedStatement$可避免SQL解析开销，参数化查询提升$30%$以上性能： $$T_{total} = n \times (T_{parse} + T_{execute}) \Rightarrow T_{parse} + n \times T_{execute}$$ 3. **事务优化策略** - 合并事务提交次数：单次提交10万条数据比100次提交效率提升$8$倍 - WAL日志优化：设置合适的日志缓存大小$WAL_{buffer}$ 4. **索引动态管理** ```sql ALTER TABLE users DISABLE KEYS; -- MySQL -- 批量插入操作 ALTER TABLE users ENABLE KEYS; -- 重建索引 ``` 索引维护时间与数据量成非线性增长： $$T_{index} = O(n\log n)$$ 5. **数据库连接池配置** 推荐配置参数： ```properties maxPoolSize=CPU核心数×2 minIdle=5 validationQuery=SELECT 1 testWhileIdle=true ``` 6. **存储引擎选择** 不同引擎插入性能对比： | 引擎类型 | 插入速度(万条/秒) | 适用场景 | |----------|------------------|------------------| | InnoDB | 3-5 | 事务性操作 | | MyISAM | 8-12 | 批量插入只读数据 | | Memory | 15-20 | 临时数据处理 | 7. **文件直接加载技术** MySQL示例： ```sql LOAD DATA INFILE '/tmp/users.csv' INTO TABLE users FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'; ``` 该方法效率是JDBC批处理的$5-10$倍，特别适合千万级数据导入 **注意事项**： - 内存管理：设置合理的JVM堆大小$Xmx$，避免GC停顿 - 错误重试：实现指数退避重试机制，设置重试次数$n \geq 3$ - 监控指标：关注TPS（每秒事务数）和IOPS（磁盘IO次数）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值