如何在数据库中快速批量插入10万条数据

普通逻辑:(共有10万条sql语句

@Test
void testSaveOneByOne() {
    long b = System.currentTimeMillis();
    for (int i = 1; i <= 100000; i++) {
        userService.save(buildUser(i));
    }
    long e = System.currentTimeMillis();
    System.out.println   
("耗时: " + (e - b));
}

快速逻辑:(共有100条sql语句

每次批量插入1000条数据, 插入100次即10万条数据

@Test
void testSaveBatch() {
    // 1.准备一个容量为1000的集合
    List<User> list = new ArrayList<>(initialCapacity: 1000);

    long b = System.currentTimeMillis();
    for (int i = 1; i <= 100000; i++) {
        // 2.添加一个User
        list.add(buildUser(i));

        // 3.每1000条批量插入一次
        if (i % 1000 == 0) {
            userService.saveBatch(list);
            // 4.清空集合, 准备下一批数据
            list.clear();
        }
    }
}
  • 相比于逐条插入,批量插入可以显著提高数据库插入性能,减少与数据库的交互次数。
  • 预分配容量 初始化ArrayList时指定初始容量,可以减少扩容操作,提高性能。

也可以使用Iservice开启性能参数,这种速度最快

 

### 批量插入10万条数据数据库的最佳实践 为了高效地完成大规模的数据插入操作,可以采用多种技术和优化手段来提升性能。以下是几种常见的最佳实践和方法: #### 方法一:使用事务控制 开启事务能够显著减少每次单独提交所带来的开销。通过将所有的插入语句放在同一个事务中执行,可以大幅提高效率[^3]。 ```sql START TRANSACTION; -- 大量的 INSERT 语句在此处 COMMIT; ``` 这种方法的核心在于减少了磁盘 I/O 的频率以及锁表的时间消耗。 --- #### 方法二:利用存储过程 创建并调用 MySQL 存储过程是一种非常高效的解决方案。它允许在服务器端直接处理循环逻辑而无需多次往返客户端与服务端之间的通信延迟[^3]。 下面是一个简单的例子展示如何定义一个存储过程来进行批量插入: ```sql DELIMITER $$ CREATE PROCEDURE BatchInsert(IN arg INT) BEGIN DECLARE i INT DEFAULT 1; START TRANSACTION; WHILE i <= arg DO INSERT INTO student (id, name) VALUES (i, CONCAT('User-', i)); SET i = i + 1; END WHILE; COMMIT; END$$ DELIMITER ; ``` 之后可以通过 CALL 命令轻松触发该过程以插入指定数量记录。 --- #### 方法三:借助编程语言生成 SQL 文件 如果希望更灵活地定制每一条记录的内容,则可以选择 Python 或其他脚本来动态构建最终要被执行的大规模 Insert 脚本文件[^4]。 例如以下片段展示了怎样生成包含十万个独立用户的 SQL 文档内容: ```python insert_sql = "INSERT INTO `users`(`username`, `email`) VALUES " with open("bulk_insert.sql", "w") as sql_file: for num in range(1, 100001): username = f"user{num}" email = f"{username}@example.com" line = f"('{username}', '{email}')" if num == 1 else f", ('{username}', '{email}')" sql_file.write(line) sql_file.write(";") ``` 此方式适合那些需要复杂业务规则或者随机属性值的情况。 --- #### 方法四:应用专用库函数(如 SqlBulkCopy) 对于某些特定场景下的关系型数据库管理系统来说,它们可能提供了专门针对大批量加载设计的功能模块或类库。比如 .NET 平台上的 SqlBulkCopy 类就非常适合用来快速导入来自 DataTable 对象或者其他源形式的大容量行集至目标表当中去[^2]。 虽然这主要适用于 Microsoft SQL Server ,但对于跨平台需求也可以考虑类似机制是否存在对应实现版本。 --- ### 总结 综上所述,无论是单纯依靠SQL命令本身特性调整参数设置还是引入外部程序辅助配合都可以有效达成目的;具体选用哪种方案取决于实际项目环境约束条件和个人偏好等因素综合考量决定。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小懒懒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值