项目中数据库插入大批量数据遇到的问题

最新推荐文章于 2023-03-08 16:11:51 发布

原创

最新推荐文章于 2023-03-08 16:11:51 发布 · 693 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #oracle

在项目中尝试插入8000万条数据时遇到磁盘空间不足和Oracle表空间问题，导致数据处理中断。解决方案包括删除无用文件以释放服务器内存，扩展表空间，以及调整SQL循环插入的批处理大小。最后通过将批处理大小从500降低到50成功解决问题。

上周五的时候在测试环境跑大批数据(大概有8000万),想着等周一来看,但周一发现数据并没有处理完,停住了,查看日志时发现问题,首先是看到“no space left on device”这个异常,哦,磁盘空间不足了,删呗…,df- I 查一下文件属性使用情况:

使用的都很少,那再用 df -h 看看实际文件大小:

(这个图是删完以后的,当时忘截图了……)

标红的地方当时使用情况已经达到100G,达到了100%;所以显而易见,服务器内存不足了;然后就可以找一些没用的日志文件删一删就可以了;

当我继续去跑数据后,过了会儿我发现数据又不动了,于是去查看日志,又发现另一个新的异常:” ORA-01653: unable to extend table 表名by 1024 in tablespace

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

导演我尽力了

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

MyBatis 批量插入大批量数据数据过多问题

ChenLong_0317的博客

11-19

3148

MyBatis 批量插入大批量数据场景：导入excel表格，读取数据，再批量插入数据库 service关键代码如下传入List集合，直接插入数据 bindCardInsertLogMapper.batchInsertHzjjBindCodeLog(list); 刚开始调用接口没有什么问题一切正常，后来一次导入300条数据直接报错：传入的表格格式数据流(TDS)远程过程调用(RPC)协议流不正确。此 RPC 请求中提供了过多的参数。最多应为 2100 查阅资料才发现原来Mybatis调用SQL SER

数据库锁表原因、排查、解决

jj89929665的博客

04-19

6101

CDC 全量同步锁表问题是指在使用 CDC 技术进行数据库同步时，为了保证数据的一致性，需要在全量同步阶段对源数据库的表或者整个数据库进行加锁，防止在同步过程中发生数据的变更。当多个事务处理对多个资源同时访问时，若双方已锁定一部分资源但也都需要对方已锁定的资源时，无法在有限的时间内完全获得所需的资源，就会处于无限的等待状态，从而造成其对资源需求的死锁，导致锁表。例如在 MySql 操作一张大表，利用 alter 语句修改或新增字段的时候，恰巧有一个长事务（包括读）在操作此表，会触发修改等待，造成锁表。

参与评论您还未登录，请先登录后发表或查看评论

Quartz持久化数据库及遇到的问题

lml21lml的博客

02-24

2555

Quartz持久化数据库及遇到的问题

dbeaver orcale数据库批量插入报错([933] ORA-00933: SQL 命令未正确结束)

idea_lsp的博客

02-13

3383

([933] ORA-00933: SQL 命令未正确结束。

数据库批量数据插入问题分析

经验不在于年限，在于积累---专注互联网软件开发

09-01

183

sql insert into 一次性插入多条数据从一张表中查询到的数据插入到另一张表

Mr_Pang的专栏

06-04

6231

http://blog.youkuaiyun.com/anihasiyou/article/details/9026779

ACCESS数据库存储大批量采集信息的问题

12-14

然而，当涉及到大批量数据的存储和处理时，ACCESS可能会遇到一些挑战，就像描述中提到的情况。在上述问题中，用户需要存储港口AIS设备接收到的大量船舶位置数据。每个三分钟，就有2000多条新数据需要入库，这导致...

PHP大批量插入数据库的3种方法和速度对比

10-25

在PHP中，当需要大批量插入数据库记录时，有多种策略可以提高效率并减少执行时间。以下是文中提到的三种方法的详细说明以及它们的速度对比： 1. **普通INSERT语句**：这是最基本的方法，即对每条数据都执行一个...

mysql大批量插入数据的4种方法示例

09-09

存储过程允许在服务器端预编译SQL语句，可以实现事务处理和循环，适合大批量数据插入。创建存储过程后，调用即可批量执行插入操作。这种方法可以减少网络传输的数据量，提高效率。 ```sql DELIMITER $$$ CREATE ...

MYSQL 大量插入数据失败后,磁盘空间却被占用

sql server的专栏

11-24

425

最近有人问,在MYSQL中大量插入数据失败后,磁盘空间被占用了不少,然后磁盘空间到底怎么样,我们先模拟一下这个环节.先找一个大表,或者现生成一个#!/usr/bin/python3 #...

MyBatis的Oracle批量添加报错记录（2）

qq_37507261的博客

03-08

695

经过百度，有人说“SEQ_VISITSCOUNTNEW.nextval”不能那样使用，需要换种写法。接上一个修正之后，换了个数据库又出现了问题。较第一版修正后又换了一种写法。自测通过，观察一段时间再看。

大量数据写入 mysql_关于大量数据写入数据库的性能问题 | 学步园

weixin_42139302的博客

02-05

496

我要一次性插入几万条数据到sybase表中,以下是我的程序,大家看能否再优化一下，现在插入10000条数据要12秒左右。adoquery1.close;for j := 1 to 1000 dobeginadoquery1.sql.clear;beginfor i := 1 to 10 dobeginadoquery1.sql.add('insert into aaa values(' + '''...

oracle批量插入值过多报错

a1091662876的博客

05-12

7134

Cause: java.sql.SQLSyntaxErrorException: ORA-00913: 值过多 ; bad SQL grammar []; nested exception is java.sql.SQLSyntaxErrorException: ORA-00913: 值过多错误信息如上,正常情况而言,这个错误是因为值个数比插入的列个数多导致的如果数据库...

导入数据，日志文件撑满磁盘，怎么办？

lucky7_2000的专栏

03-28

1081

昨天在做变更时，遇到这样一个问题。在同一个SQL Server实例上，要将一个库中的一个表的数据，全量导入到另一个数据库中，表结构完全一致的空表中。目的数据库的恢复模式是简单。原定的实施计划是用导入导出向导做，但在向导执行时报错某一列的数据无效。需要导入的数据有6000W行，要找到哪一行的数据有问题会非常耗时,于是就打算用 insert into destination_table

DBeaver同时执行多条插入语句报错

qq_45209994的博客

09-05

3633

同时执行多行插入语句时报下面的错误。搜了半天发现是DBeaver设置的问题，修改连接配置的驱动属性：allowMultiqueries为true就好了。

执行插入语句时oracle报错ORA-00913：值过多

Carinelin的博客

10-11

9518

输入字段重复造成

sql插入数据注意不可过大

welcome to daijiguo's blog

12-09

664

当有一个数组中的数据要插入mysql时，此数组要先存在内存中，如果数组过大，内存可能会自动终止进程。一般处理方式：数组每满100条记录，进行一次批量insert。注：inser批量处理，只需要检查一次连接状态。update批量处理，每一次update都需要检查连接状态。

mysql建表出现磁盘空间不足_面试官：MySQL性能优化如何做？网友这样回答会直接被pass掉的！...

weixin_42407739的博客

01-23

239

开篇吐槽说起MySQL的性能优化，相信大家在面试中都经历过，网友这样回答：不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型等等。这么回答你以为就能得到面试官的芳心吗？刚毕业的学生都会这样回答了，但是这样回答前两年，可能你还会拿到offer，但是伴随今年的寒冬时期，你就需要更加用心的去回答，比如加上一点示例，实际应用等等。简单回答那些技巧，面试官肯定会追问下去：是...

记录一次数据库疯狂挂掉的解决

AninZz

12-05

1709

最近一个项目不太稳定，客户一会就反应进不去系统了，后台报了mysql超出最大连接数 Mysql 的连接通常是一个请求占用一个连接，如果该请求（update，insert，delete，select）长时间没有执行完毕，则会造成连接的堆积，迅速的消耗完数据库的连接数，这个时候技术支持人员就要登录数据库进行排序，看看到底是那些sql 占用了连接；通过SHOW FULL PROCESSLIST;查...

Java 数据库插入大量数据数据慢有可能报宅溢出

最新发布

06-20

### Java 数据库批量插入性能优化及栈溢出解决方案在 Java 中，当需要将大量数据插入到数据库时，可能会遇到性能瓶颈和内存溢出问题。以下是一些关键的优化策略和解决方案。 #### 1. 使用 JDBC 批处理 JDBC 提供了批处理功能，可以显著减少与数据库的交互次数，从而提高性能。通过 `PreparedStatement` 的 `addBatch()` 和 `executeBatch()` 方法，可以将多条 SQL 语句组合成一个批次进行执行。需要注意的是，MySQL JDBC 驱动默认情况下可能忽略 `executeBatch()` 的效果[^2]，因此需要显式启用批处理模式。可以通过设置连接属性 `rewriteBatchedStatements=true` 来启用批处理优化。 ```java String url = "jdbc:mysql://localhost:3306/test?rewriteBatchedStatements=true"; Connection conn = DriverManager.getConnection(url, "user", "password"); PreparedStatement stmt = conn.prepareStatement("INSERT INTO table_name (column1, column2) VALUES (?, ?)"); for (int i = 0; i < batchSize; i++) { stmt.setString(1, "value1"); stmt.setString(2, "value2"); stmt.addBatch(); } stmt.executeBatch(); stmt.close(); conn.close(); ``` #### 2. Hibernate 批量插入优化 Hibernate 是一个强大的 ORM 框架，但在处理大批量数据插入时可能存在性能问题。为了优化 Hibernate 的批量插入操作，可以采取以下措施： - **配置 JDBC 批处理**：在 Hibernate 配置文件中启用批处理功能。 ```properties hibernate.jdbc.batch_size=50 hibernate.order_inserts=true hibernate.order_updates=true ``` - **禁用一级缓存清理**：频繁的插入操作会导致 Session 的一级缓存膨胀，最终引发内存溢出。可以在每次插入一定数量的数据后调用 `session.clear()` 清理缓存[^4]。 ```java Session session = sessionFactory.openSession(); Transaction tx = session.beginTransaction(); for (int i = 0; i < largeDataSize; i++) { Entity entity = new Entity(); // 设置实体属性 session.save(entity); if (i % batchSize == 0) { session.flush(); session.clear(); } } tx.commit(); session.close(); ``` #### 3. 分块读取文件并使用多线程对于从文件中读取大量数据并插入数据库的场景，可以采用分块读取和多线程处理的方式来避免 JVM 内存溢出。具体步骤包括： - **分块读取文件**：将文件按固定大小（如 1000 条记录）分块读取。 - **多线程处理**：使用线程池分配任务，每个线程负责处理一个数据块。 - **批量插入**：每个线程通过 JDBC 批处理将数据插入数据库。代码示例如下[^3]： ```java ExecutorService executor = Executors.newFixedThreadPool(numThreads); List<List<String>> dataBlocks = readFileInChunks(filePath, chunkSize); for (List<String> block : dataBlocks) { executor.submit(() -> { try (Connection conn = DriverManager.getConnection(url, user, password)) { PreparedStatement stmt = conn.prepareStatement(insertSql); for (String record : block) { stmt.setString(1, record); stmt.addBatch(); } stmt.executeBatch(); } catch (SQLException e) { e.printStackTrace(); } }); } executor.shutdown(); executor.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS); ``` #### 4. 数据库端优化除了应用程序层面的优化外，还可以对数据库进行调整以提升批量插入性能： - **禁用索引和约束**：在插入大批量数据前临时禁用索引和外键约束，完成后重新启用。 - **调整事务隔离级别**：使用较低的隔离级别（如 READ_UNCOMMITTED）可以减少锁竞争。 - **增加数据库缓冲区大小**：根据数据库类型调整相关参数以优化写入性能。 --- ###