使用程序大数据量导入到数据库的思路

最新推荐文章于 2024-08-22 19:42:37 发布
原创 最新推荐文章于 2024-08-22 19:42:37 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #多线程 #insert #服务器

本文介绍了一种通过多线程技术和批量提交方式来提高Oracle数据库批量导入速度的方法。具体方案包括：一个线程作为生产者负责读取文本文件，10-20个消费者线程进行数据解析并插入数据库，同时利用BatchUpdate操作进行批量提交。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

提问：
百万级的数据在txt文件中导入到oracl 9i 中用b/s做 还要做进度条,这个程序我已经做一半了,先把文件上传到服务器上,在批量插入的时候还是很慢,谁有好的办法,或者有原代码的也行,谢谢


答复：
我只提示一下，我们还有多线程啊！

你应该考虑一下
生产者:文本文件，建议一个线程
消费者：从生产者读取一行数据，然后解析，然后插入数据库， 建议10-20个线程
提交要使用批量提交，BatchUpdate操作，不要每一次insert就提交一次。

100万数据，普通的破机器，应该在2分钟内完成。 04年，1000万的数据，我用了25分钟，普通的PC机，2G的内存，P4 3.0G
老紫竹
关注
PHP快速导入大量数据到数据库,快速导出百万级数据到CSV或者EXCEL文件
hanzhuhuaa的博客
09-16 1887
前言： 很多时候，因为数据统计，我们需要将数据库的数据导出到Excel等文件中，以供数据人员进行查看，如果数据集不大，其实很容易；但是如果对于大数集的导出，将要考虑各种性能的问题，这里以导出数据库一百万条数据为例，导出时间不过20秒，值的学习的一种大数据导出方式。总结：在插入大批量数据时，第一种方法无疑是最差劲的，而第二种方法在实际应用中就比较广泛，第三种方法在插入测试数据或者其他低要求时比较合适，速度确实快。如果导出数量过大，推荐使用循环导出，每次循环这里以导出一万条为例，循环100次即可全部导出。
批量导入数据
JSZY-YYDS的博客
07-28 1745
批量导入数据 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 开发工具与关键技术： VS 作者：韩日九儿 撰写时间：2021/7/28 1.大体思路，先是清空表单打开导入模态框，绑定下载按钮获取文件的路径，上传文本给数据库发送请求，控制器中，处理下载模板，获取模板的路径判断所下载的文件是否存在，成功则下载所选中的模板文件，然后绑定数据库与下载的文件的后缀名称，通过后缀名获取读取文件，
Java实现excel大数据量导入
09-07
主要为大家详细介绍了Java实现excel大数据量导入，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
JAVA JDBC大数据量导入Mysql
weixin_30437337的博客
08-17 159
转自https://blog.youkuaiyun.com/q6834850/article/details/73726707?tdsourcetag=s_pctim_aiomsg 采用JDBC批处理（开启事务、无事务） 采用JDBC批处理时需要注意一下几点： 1、在URL连接时需要开启批处理、以及预编译String url = “jdbc:mysql://localhost:3306/Use...
java实现将大数据处理并导入数据库
weixin_45761659的博客
10-31 1022
此代码解决上一个文章遇到的异常 import java.io.BufferedReader; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; import java.sql.*; import java.util.Scanner; /** * @author wangxin * @create 2020/10/30 - 10:00 */ public class
java实现大数据量快速导入
最新发布
weixin_46516173的博客
08-22 974
java实现大数据量快速导入。
JAVA高效率 (秒级) 将千万条数据导入数据库 (已封装工具类)【详解】【一看就懂】
热门推荐
杨大仙
11-03 2万+
最近在导入一个500w+的数据至数据库时，遇到一个异常，相信做大数据应该都有遇到。500w的数据说大不大，说小也不小，既然问题出现了，那么就一定要解决。 异常如下图所示： 所使用的方法在如下链接： MySQL数据库10秒内插入百万条数据 （多字段）【详解】 由于数据通过该方式转换为一条sql，执行读取工作量过于庞大，导致所创建的对象都为强引用，垃圾回收机制无法释放内存，所导致堆内存溢出而造成的异常。 想了一下，虽然通过prepareStatement的addBatch( )方法可以做到.
asp.net中EXCEL数据导入到数据库的方法
10-24
对于大数据量的导入，可能需要优化SQL语句和数据库连接的配置，以提高导入效率。 由于本文的示例代码部分不完整，未能提供完整的实现逻辑，但基本的思路和方法已经阐述清楚。开发者在实际操作过程中，需要根据具体...
【Java】百万级别数据的Excel如何快速导入到数据库中？
alen101的博客
07-11 1392
Mybatis 原生是不支持将查询到的结果直接写人一个 HashMap 中的，需要自定义 SessionMapperSessionMapper 中指定使用 MapResultHandler 处理 SQL 查询的结果集。
【Java】百万级别数据的Excel如何快速导入到数据库中
alen101的博客
07-18 1267
Mybatis 原生是不支持将查询到的结果直接写人一个 HashMap 中的，需要自定义 SessionMapperSessionMapper 中指定使用 MapResultHandler 处理 SQL 查询的结果集。
java大数据量的excel导入导出
Master_Shifu_的博客
02-16 8635
大数据量导入导出， 亲测可解决百万级excel的导入导出！ 基础： 03版（xls）excel文件每个sheet最大长度为 65535 07版（xlsx）excel文件每个sheet最大长度为 104万 07版后， 底层文件为 xml， 可以将 xlsx后缀改为rar 后用解压软件打开查看源文件 1.导入所需jar包： 3个 <dependency> <groupId>o...
mysql数据库大数据量导入导出多种方法
01-14
mysql数据库大数据量导入导出多种方法，该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法
geoserver 2.3 优化方案详解
06-11
从影像数据、矢量数据、切片数据等多方面，对geoserver的优化提出完整，全方位的优化策略，是迄今为止最新最详细的geoserver优化方案。
Java大数据量、多线程、批量导入数据问题的解
amScholar的博客
07-17 3423
背景： 项目整合业务数据汇总录入数据库，数据规模为200～300w每月，按要求需要在月初导入上月全部数据。 要做到项目隔离。 要保证数据完整性。 数据导出方案：采用多线程读写配合文件服务器，可以保证数据导出效率。 数据下载导入方案： 下载文件到机器目录。 使用多线程同时分段读取文件到内存。 使用多线程执行批量入库操作(批量insert量为300每次)。 使用countDownLa...
企业生产实践--生产环境批量插入百万数据到数据库几种实现方式(三)
最爱嫣夜来
07-20 353
大体思路： 1、使用Python脚本生成100万数据的sql脚本文件存储到本地； 2、使用shell脚本连接数据库，执行生成的sql文件； 3、在python脚本中调用shell脚本并执行即可； 步骤一：使用python每次循环生成10000条插入语句，执行100次循环,生成100万条数据 from hashlib import sha1 from random import randint import sh import os import time def make_passwd(): r
【转】Java批量导入百万级数据到mysql
mao_mao37的博客
07-04 3570
需求：把一个500M的txt文件导入mysql数据库，数据量大概有几千万。
在INFORMIX中分割导入大数据量文件的方法
weixin_30394981的博客
08-05 245
load.sh 文本文件 导入表名----------------------------------#!/bin/kshecho $1 $2cat $1|wc -l>>file.txt#按每10000条记录分割一个文件split -l 10000 $1 $2_ls $2_* >file2.txtfor i in `cat file2.txt`do#数据库被置为无...
大数据组件-Apache Sqoop,工作机制,安装配置,全量增量导入到hdfs,hive数仓,导出
weixin_45154559的博客
05-30 635
啊啊啊
数据库大数据量解决方案（转）
憤怒的前進的专栏
09-14 305
随着业务量的增大, 数据库DB服务器的负载现在维持在50-70%之间, 期间也开始出现些问题, 虽然马上解决了, 但是优化性能的问题已经迫在眉睫!  根据我和同事的讨论, 现在有两种方案可取:  一: 根据业务来拆分, 把当前DB的表根据功能的不同分别放到不同的数据库中, 如用户信息相关的放到A 用户信息DB服务器中, 资金相关的放到B 资金DB服务器中, 还有Log, 物品等也需要放到不同DB那...
C#实现Excel数据向数据库的高效导入
当Excel文件中的数据量很大时，导入操作可能会变得耗时。在这种情况下，考虑使用批处理操作，或者合理地分批处理数据，可以提高导入的性能。 现在，让我们来看看如何通过具体步骤将Excel数据导入到数据库中。首先，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值