单线程与多线程插入大量数据对比

最新推荐文章于 2023-05-12 13:44:20 发布
转载 最新推荐文章于 2023-05-12 13:44:20 发布 · 517 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/levinlee/p/3422726.html
文章标签：

#数据库 #java

本文对比了使用LINQ和SQLHelper进行数据插入的性能，结果显示SQL方式更快，同时多线程操作显著提高了效率。具体而言，LINQ方式插入1万条数据耗时27秒409毫秒，平均每秒插入360条；SQLHelper插入2万条数据耗时16.130秒，平均每秒1240条。多线程插入20个1000条数据时，LINQ方式用时27秒409毫秒，而SQLHelper仅需5.949秒。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、采用Linq的方法插入

插入1万条数据
开始时间：12:48:03.174
结束时间：12:48:29.583
用时27秒409毫秒

平均每秒360条数据

10个线程插入10个1000条数据
开始时间：12:27:02.782
结束时间：12:27:13.292
用时10秒510毫秒

20个线程插入20个1000条数据
开始时间：12:48:29.585
结束时间：12:48:49.042
用时19秒457毫秒

平均每秒1000条数据

 

2、采用SQLHelper写入方式插入

插入2万条数据
开始时间51:04.710
结束时间51:20.840
用时16.130秒
平均每秒1240条

20个线程插入20个1000条数据
开始时间51:20.842
结束时间51:25.1791
用时5.949秒
平均每秒3362条

 

结论1：linq方式写数据比较慢，普通sql写入方式较快

结论2：多线程的效率比较高

 

转载于:https://www.cnblogs.com/levinlee/p/3422726.html

python 批量创建线程_Python多线程批量插入数据小结
weixin_39990558的博客
12-06 657
在测试的过程中，无法避免的需要做一些性能压测，造数据的时长在此时就会备受关注。比如，造数据的时候用多线程还是多进程，用直接插入DB方式还是用先写文件后导入mysql的方式，写文件是写批量sql后面source导入，还是写文本格式后面load ito file导入，使用不同的方法耗时结果肯定是不一样的。除此之外，还有mysql的版本，DB的引擎，表的结构设计这些都会影响大量数据插入的时间。这次导入数...
线程导入大数据入库_多线程批量插入数据小结
weixin_39608394的博客
01-14 1242
在测试的过程中，无法避免的需要做一些性能压测，造数据的时长在此时就会备受关注。比如，造数据的时候用多线程还是多进程，用直接插入DB方式还是用先写文件后导入mysql的方式，写文件是写批量sql后面source导入，还是写文本格式后面load ito file导入，使用不同的方法耗时结果肯定是不一样的。除此之外，还有mysql的版本，DB的引擎，表的结构设计这些都会影响大量数据插入的时间。这次导入数...
大量数据情况下单线程插入和多线程insert数据库的性能测试
热门推荐
张伟的专栏
11-18 4万+
大量数据情况下单线程插入和多线程insert数据库的性能测试   之前一直没有遇到过大批量数据入库的场景，所以一直没有思考过在大量数据的情况下单线程插入和多线程插入的性能情况。今天在看一个项目源代码的时候发现使用了多线程insert操作。 于是简单的写了一个测试程序来测试一批数据在N个线程下的insert情况。 public class ThreadImport { pr
多线程处理数据案例——对比单线程和多线程处理数据的速度
欧特GO
11-16 1425
一、功能说明 最近进行一个功能优化工作，涉及到数据的传输，由于散乱的小文件太多的缘故，因此在数据传输过程中非常慢。计划通过对文件夹进行压缩后传输二进制压缩包的方式提升网络传输效率。前期需要对某个目录下的所有文件夹逐个压缩为zip包，此处引入多线程处理和单线程处理，对比一下压缩速度。 代码并未提供全部，主要是为了记录多线程处理文件时参数分配以及进度界面显示问题。 二、功能界面 三、主要功能代码 // MutiThreadDlg.h : 头文件 // #pragma once #include "af
单线程和多线程访问数据库性能比较一性能比较部分(oracle 数据库)
runnerrunning的专栏
03-02 1万+
单线程和多线程访问数据库性能比较(oracle 数据库,C++Builder实现,odac4)说明：本文主要说明单线程和多线程访问数据库性能的性能比较，关键词在数据库(DataBase)，线程(Thread),单线程(single Thread),多线程(multi-thread)，数据库缓存(catch),事务(Transation)，等,与具体实现方式相关不大。基本个人爱好，采用C++bu
单线程与多线程的比较
zhang434的专栏
11-20 1879
假设有100个数据要处理   下面分别采用单线程和多线程进行来对比分析  说明采用多线程的好处 单线程的代码如下 package xiancheng; import java.util.Vector; /**  *  * @author Administrator  * zyyjiao@mail.ustc.edu.cn  */ public class OneMain {   
存储io单线程和多线程_在线程上存储东西
09-26 190
存储io单线程和多线程There's so many places to put stuff. I think one of the most difficult things for new .NET developers is deciding where to store objects and bits of data. 有很多地方可以放东西。 我认为对于新.NET开发人员而言，最困难的事...
MongoDB亿级数据性能深度测试：单线程与分片对比
"本次性能测试主要关注MongoDB在处理亿级数据量时的表现，通过一系列具体测试项目，探讨了MongoDB在不同操作场景下的性能特性，包括单线程与多线程插入、批量插入、安全模式插入、索引查询、多条件查询、排序与跳过...
多线程与单线程数据库查询效率对比分析
多线程与数据库交互是软件开发中常见的任务，尤其在需要高效处理大量数据的应用场景中。本资源旨在通过易语言在线学习平台演示多线程技术在数据库查询中的应用，并与单线程查询结果进行对比分析。 知识点一：数据库...
易语言多线程数据库查询对比源码-易语言
06-13
此外，还可能对比单线程和多线程查询的性能，多线程在处理大量数据时能显著提升效率。 "1.e"文件可能是易语言的源代码文件，其中包含了具体的实现逻辑。而"查询数据库.edb"很可能是易语言的数据库文件，可能是一个...
多线程编程中的两种方式的对比
qq_43620572的博客
06-23 296
在HIT软件构造的实验6（Multi-Thread Concurrent Programming）中遇到了多线程编程问题，我在学习过程中学习了两种写法。 一是，创建lock和unlock方法手动锁。 二是，使用线程池。 lock和unlock方法我看我的同学比较爱使用的，可能因为是新手吧。sychronized是老师上课特意强调的，可能较为主流。线程池是我查资料是看到的方法，我的同学们都不太听说过...
多线程插入数据效率提升对比
m0_59198143的博客
05-12 362
System.out.println("线程"+Thread.currentThread().getName()+"----"+key+"执行完耗时(s)"+ (end-begin));System.out.println("线程"+Thread.currentThread().getName()+"----"+key+"执行完耗时(s)"+ (end-begin));测试过程中，加了同步关键字后，发现实际是一个线程执行完以后，另一个线程才能继续，实际上还是相当于单线程一样的结果，未达到并行的效果。
MyBatis批量插入为什么比单条插入块？
java李阳勇的博客
07-28 1万+
今天在利用excel处理业务数据的时候开始打算一条一条插入数据库！因为要做数据校验和数据保存返回id之后进行其他表也插入！大约有30000多条数据库吧！花了大约3-5分钟，前端也会出现超时请求问题、让我意识到一条一条插入影响性能，但是因为业务逻辑的需要，又不得不一条一条插入，后面改变了思维还是必须批量插入数据！并将其他表也需要保存的数据也临时存在Java对象中！在主对象保存之后进行遍历获取插入。...
【MYSQL】批量数据插入mysql，如何提升性能
麦田里的守望者
06-11 1093
目录 0 前言 1 解决方案1 1.1 在insert语句上做文章 1.2 我的测试 1.2.1 一次插入10条数据 1.2.2 一次插入1条数据 0 前言 大数据，当然得把数据插入到数据库中，才能进行分析，那么今天我在插入大批量的数据时，遇到了一个性能问题，那就是通过单线程插入3600左右的记录到mysql数据库中，但是速度很慢，那么今天我就介绍几种我自己的观点，关于如何提升批...
Linq 与sql方式 添加数据效率比较
Ubuntu菜鸟天堂
01-23 753
所测试环境为：Ms sqlserver 2008，visual studio 2008 测试数据为10万条  Linq方式 代码： /// /// Linq 方式 /// public static void Linq_insert() { DataClassesDataContext da
多线程和单线程速度
weixin_34242658的博客
05-09 899
多线程不一定比单线程速度快，只有在特定的场景下，多线程才能发挥优势。 例如数据库的存储，单线程速度就比多线程快。 多线程适用于复杂任务，并发任务，往往响应需要一定的时间，这时候通过调用多个线程，同时处理一些任务从而提高速度。 多线程在一定程度上提升了复杂任务的的工作效率。 转载于:https://www.cnblogs.com/nwgdk/p/10836185.html...
使用多线程的3种方式以及对比
baidu_28158233的博客
08-29 373
使用多线程的几种方式以及对比 1.继承Thread类 实现方式很简单， 只需创建一个类去继承Thread类然后重写run方法，在main方法中调用改实例对对象即可实现多线程并发。 public static void main(String[] args) { Thread t1 = new MyThread("线程1"); t1.start(); } class MyThread extends Thread{ /*线程名称*/ private String nam
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值