使用程序大数据量导入到数据库的思路

老紫竹 老紫竹 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.3k累计阅读 1.4k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄19年
关注
原创 最新推荐文章于 2026-03-25 09:24:10 发布 1.3k 阅读 AI 写同款· GEO 优化 ›
Cesium三维GIS线段绘制：DrawHandler原理、实现与超图集成实战 在三维地理信息系统（GIS）与WebGL可视化领域，空间数据交互是核心基础能力。其原理在于通过事件驱动模型，将用户鼠标操作精确转换为三维球面坐标，实现几何实体的动态创建与管理。这项技术的价值在于为各类三维应用提供了基础的空间数据采集与编辑功能，是数字孪生、智慧城市等场景中不可或缺的交互组件。具体到工程实践，Cesium作为领先的Web三维地球引擎，其DrawHandler机制封装了复杂的绘制状态管理，实现了关注点分离。开发者通过监听drawStart、drawMove、drawEnd等事件，即可高效完成从交 阅读详情
提问：
百万级的数据在txt文件中导入到oracl 9i 中用b/s做 还要做进度条,这个程序我已经做一半了,先把文件上传到服务器上,在批量插入的时候还是很慢,谁有好的办法,或者有原代码的也行,谢谢


答复：
我只提示一下，我们还有多线程啊！

你应该考虑一下
生产者:文本文件，建议一个线程
消费者：从生产者读取一行数据，然后解析，然后插入数据库， 建议10-20个线程
提交要使用批量提交，BatchUpdate操作，不要每一次insert就提交一次。

100万数据，普通的破机器，应该在2分钟内完成。 04年，1000万的数据，我用了25分钟，普通的PC机，2G的内存，P4 3.0G
标签
#数据库 #多线程 #insert #服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
md5解密程序思路 本程序由nw与李总开发，结为放文件程序基于nodejs+mysql开发：程序优点：自主强可自建，无压力，可搭建于本地（目前我们自己培训在接入使用中数据替换中）。原理：查询数据库中密文结果，将明文返回。 阅读详情

相关推荐

java 多线程提高大数据量的读写效率

对于多线程来说，刚开始是比较蒙的，不了解其中的运行机制。 最近项目中需要用多线程解决一个加载缓慢的问题，特此写了一个例子，供大家参考，如有建议，请多指教，哈哈哈 那么，话不多说。 先说下需求：此接口供xxx公司调用，实现对数据库的读取和修改。而且是全量读取，不进行分页读取。（百万级别数据量） 那就要考虑下，如果将数据分批进行处理，看下哪里运行时间相对较长，将哪部分代码进行多线程处理。 注：程序员最...

进阶的球儿 5618

【大数据处理技术】「#1」本地数据集上传到数据仓库Hive

【代码】【大数据处理技术】「#1」本地数据集上传到数据仓库Hive。

Lenhart001的博客 2507

海量数据批量处理到数据库实现

using (IDbConnection conn = provider.CreateConnection()) { using (IDbTransaction tran = conn.BeginTransaction()) { SqlBulkCopy sbc = new SqlBulkCopy(tran.Connection as SqlConnection,...

luohuajiexiejuan的专栏 187

java mysql大数据量批量插入与流式读取分析

总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后在生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。 1 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读不出来。开始以为是server端处理太慢。但是在控制台是可以立即返回数据的。于是在应用这边抓包，发现也是发送sq

wxq的博客 3702

大数据Excel通过POI导入数据库通用设计方案

考虑到Excel导入在项目中应用较多，随后其他项目中都会用到，为了减少重复工作，不必因为excel的样式、数据等变化而重新编码，重复劳动，因此必须抽取通用的东西出来，封装共同点，暴露个性点，使用时只需要关注相关业务，而不必关注excel的读取和存储。考虑到这个情况，可以使用规则配置来解决这个问题。配置规则的时候，需要配置excel要导入的表，字段等信息，导入的时候依据这个规则将数据导入到数据库中。这样一来，在进行excel导入时候只需要为某种数据配置一个规则，然后调用封装的导入类就可以完成整个excel导入的工作了。

mysql数据库大数据量导入导出多种方法

mysql数据库大数据量导入导出多种方法，该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法

数据仓库备份思路

数据仓库的数据量一般是非常巨大的，我们需要每天都备份吗？这一点我至今还是不懂，只是感觉数据仓库最起码是从生产库流过来的数据没必要做完完全全的备份，但是备份还是需要的，比如我们的ETL流程如下 1：环境了解 环境：SQLServer2008R2 数据仓库的抽取过程如下 图像分析： 生产库→ods：采用的是SSIS，那么这一步我们只保存SSIS的程序包即可，因为ODS是最大限度的和业务库

KING技术专栏 2053

无感无刷电机三段式启动避坑指南：从预定位到闭环切换的STM32代码实现

本文深入解析无感无刷电机的三段式启动流程，涵盖预定位、启动加速与闭环切换三大阶段。重点对比了恒频升压、恒压升频与升频升压三种核心启动策略的优劣，并提供了基于STM32的详细状态机代码实现与关键参数调试指南，帮助工程师有效规避启动失步、线圈过热等常见问题，实现稳定可靠的无感驱动。

herb5的博客 535

多系统大数据量查询思路

事务临时表，会话临时表

m0_67098662的博客 808

pi/4QPSK调制解调原理

文章目录1. π/4\pi/4π/4QPSK 信号的调制原理2. 匹配滤波器与成形滤波器 1. π/4\pi/4π/4QPSK 信号的调制原理 减小相位突变量的QPSK由偏置键控QPSK（OK-QPSK）和 π/4\pi/4π/4偏置的QPSK（ π/4\pi/4π/4QPSK）。由于 π/4\pi/4π/4QPSK是用差分相位编码产生的（因此也叫做 π/4\pi/4π/4DQPSK），能有效地进行差分解调和鉴频器解调，在一些不易提取相干载波的场合很有用。 在常规的QPSK中，输入数据经过串/并变换后，分成

gemengxia的博客 2万+

igh ethercat 实时性测试

组备注std(us)max(us)a无锁核，无rt补丁8.38108b锁核+FIFO调度+内存锁定，无rt补丁0.9216c锁核+FIFO调度+内存锁定，+rt补丁0.9922可以看到 a组 使用ethercat不做其他优化，周期抖动非常大，且max能达到 100 多 us;通过 锁核+FIFO调度+内存锁定 进行优化，可以看到 抖动明显降低，且max 为 20 us 左右;

qq_43353632的博客 2311

数据仓库 - 2.数据仓库设计思路及ETL设计思路

一、数据仓库构建思想 构造数据仓库有两种方式：一是自上而下，一是自下而上。 Bill Inmon先生推崇“自上而下”的方式，即一个企业建立唯一的数据中心，就像一个数据的仓库，其中数据是经过整合、经过清洗、去掉脏数据的、标准的，能够提供统一的视图。要建立这样的数据仓库，并不从它需要支持哪些应用入手，而是要从整个企业的环境入手，分析其中的概念，应该有什么样的数据，达成概念完成整；（会考虑...

dipeichang0801的博客 308

模拟CMOS集成电路设计入门学习（1）

模拟CMOS集成电路设计入门学习（1）:二级效应

qq_61052827的博客 3087

web DB优化思路

<br />随着数据量的不断增长以及前端应用的不断水平扩充，数据库的压力会成为明显的问题，这个时候常用的方案是数据拆分，在数据拆分时有些什么较好的拆分方式？<br /> <br /> <br />1．按功能划分（垂直切分）<br />将不同功能相关的表放到不同的数据库中，这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围，就需要继续对其进行深入的再切分。<br />2．按表中某一字段值的范围划分（水平切分）<br />当伴随着某一个表的数据量越来越大，以至于不能承受的时候，就需要对

serverxp的专栏 926

日前日内多阶段多时间尺度源荷储协调调度（matlab代码）

多阶段多时间尺度的协调调度的优势是考虑新能源出力的波 动性与随机性，需求响应负荷的不确定性会对电网制定的日前调度计划准确性造成影响，也就是能够更加精准的进行调度和分析，优化结果的可用性更强。在这方面论文里面，金力的《考虑特性分布的储能电站接入的电网多时间尺度源储荷协调调度策略》就考虑了日前日内实时三个阶段调度，每个阶段考虑了不同负荷需求响应策略，同时考虑了负荷波动性的影响，具有很强的参考意义。 目录 一、模型 二、程序运行 三、程序链接 一、模型 负荷需求响应考虑电价型和激励型两种，电.

zhangxd212489的博客 7915

MOS管关断时尖峰电压的5种实用抑制方案（附实测数据对比）

本文针对MOS管关断时产生的尖峰电压问题，提供了五种经过实验室实测验证的实用抑制方案。文章从尖峰电压的成因分析入手，详细阐述了优化PCB布局、设计RC缓冲电路、选用TVS二极管钳位、调节驱动电路以及使用磁珠吸收高频振荡等方法的原理、实施步骤与实测数据对比，为硬件工程师解决开关电源和电机驱动中的过压应力与EMI问题提供了系统性的实战指南。

1246

db大小：为什么etcd社区建议db大小不超过8G？

大家好，我是程序员贵哥（抖音号：1717983460）。在写流程中我和你分享了etcd Quota模块，那么etcd为什么需要对db增加Quota限制，以及不建议你的etcd集群db大小超过8G呢？过大的db文件对集群性能和稳定性有哪些影响？今天我要和你分享的主题就是关于db大小。我将通过一个大数据量的etcd集群为案例，为你剖析etcd db大小配额限制背后的设计思考和过大的db潜在隐患。希望通过这节课，帮助你理解大数据量对集群的各个模块的影响，配置合理的db Quota值。

qq_33240556的博客 519

matlab 点云学习目录【2026最新版】

matlab 点云学习目录。博客长期更新，本文最近更新时间为：2026年6月15日。

点云侠的博客 3万+

百万级大数据量导出方案思路

注意的问题点： 1、Excel Excel2003版最大行数是65535行，Excel2007版的行数(1048576行)才能达到我们的要求，所以我们需要使用Excel的版本必须为2007版及以上，所以想几百万条轻轻松松一次性导入一张EXCEL表是不行的，你起码需要进行数据分割，保证数据不能超过104W一张表，PHPexcel内存溢出：既然数据限制在104W，那么就数据分割，于是你尝试50W一次导入表，然而PHPexcel内部有函数报内存溢出错误，然后你就不断的调小数据量，直到5W一次导入你都会发现有

weixin_39569689的博客 2075

保姆级教程：一步步创建 ABAP Text Table

有朋友反馈，问有没有一个自己动手创建 Text Table 的例子，因为自己没有动手实践过，总觉得心里不踏实。这个行为的语义是，ZAI_TYPE_T 这张表的 AI_TYPE 字段值，不能随便维护，必须是表。然后另一个需要添加的字段是 AI_TYPE 这个字段值对应的文本值，本例笔者采用 SAP 标准的。也是自己创建的，很简单的一个 Data Element，类型为 CHAR，长度为 2.依次给主表的 01，02，03 三个字段值维护对应的描述信息，最后效果如下。按照下面的字段结构，创建另一。

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 4278

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0， 兼容Win7/Win10/WinXP，解压就可用。

关于Execl导入大数据量文件的处理思路（实战经验）

关于Execl导入大数据量文件的处理思路（实战经验） Execl作为微软的早期产品，功能强大的同时，性能也相应的差很多，处理大数据量时 尤其明显。最近项目中有一个需求，要求导入人员信息，Execl的数据量大概5000左右， 但是会关联其他表，查询出100万级别的数据量，插入到值表。并且这个过程是系统管理 人员每月不定期在页面导入的。系统设计的要求是10秒内完成。 简单说一下我们的

reggergdsg的博客 6424

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用，资源的后缀为tar.gz格式的压缩包

大数据量的处理的思路

  大数据量的处理的思路   one ask and answer------------------ 引用 8 楼 william548934 的回复: 引用 1 楼 bao110908 的回复: 这问题问得，这二三十万是什么格式的数据？还是二三十万行的 INSERT 语句？ 比如二三十万行有规则的数据存放在excel文件中。。。如下： a  b  c  d  e  f a  b  c...

aiyan2001 140

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

VC中sqlite的使用

在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示

取出大数据量CLOB数据

VC中，用ADO取出大数据量CLOB数据（可能有几十M）循环取数据，第一次取时没有问题，取完后我关闭了记录集，第二次取时没问题，在关闭记录集时就出错？如果不关闭记录集，那在第三次取数据时，在m_pRecordset.CreateInstance(__uuidof(Recordset));就出错，User breakpoint called from code at 0x77f767cd　　　　网上

雄鹰展翅 4047

大数据量场景下的两种处理思路：Redis 缓存与离线预计算

当数据规模不断扩大时，接口性能问题的本质，往往并不只是数据库慢，而是数据处理方式过于依赖“实时现算”。如果每一次请求都从原始数据开始完成清洗、聚合和统计，那么系统迟早会在数据规模和访问压力面前变得吃力。Redis 缓存更适合解决高频重复查询问题，它能有效提升响应速度，减轻数据库压力；离线清洗与整合更适合解决复杂统计问题，它能把计算压力提前释放，让接口层保持轻量与稳定。两种方案各有边界，也各有价值。

weixin_48914879的博客 411

大数据量的批处理的一些思考

业务反思

z291506316的博客 1164
上一篇： 跨域读取数据的解决方案
下一篇： 创业名言之人才篇
点赞 0
评论 2
书签 书签 0
老紫竹
老紫竹
博客等级 码龄19年 1万+粉丝 1252原创
+ 关注
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值