使用web方式导入如果导入大量数据

本文讨论了两种批量数据导入策略:同步导入与分步处理。同步导入可在一次操作中完成所有任务,但可能导致速度缓慢;分步处理则通过将任务拆分为多个步骤提高效率并减少失败风险。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

     在一些大型的可运行,可维护的系统中,经常需要具备大量导入数据的功能,而因为不同的应用,使用的方法和技术可能也不尽相同,下面,我从开发的几个项目中,来总结一些应该注意的方法和问题。

      1 使用同步的方式,该方式是,当导入数据的时候,就同步完成和导入相关的一切事情,该方式的优点是,可以在一次中,做完所有的导入工作,效果非常明显。
     但是缺点也非常明显,就是数据导入速度可能非常慢(一般导入数据后,需要做一些相应的处理)

    如果该导入中,不仅仅是涉及到一个DB,那么问题可能更复杂,因为不同的数据,一个使用hibernate进行持久化,另外一个数据库,使用JDBC连接,最后,因为这两种连接方式的不提交数据的机制不一样,非常容易出现,使用hibernate已经提交了,但是使用JDBC无法查询的现象。

  2 分步式处理,就是,导入数据,如果需要做3件事情,那么,第一步是写入到相应的table里面,第二步是把和他相关的数据,根据状态,发布到另外一个DB或者是需要进行处理,第三步是结果输出。在这样的一个导入流程中,我们使用分步的方式将是非常合理的,这样,用户在导入原始数据将会非常的块,并且,不会因为网络的延时或者DB的重负荷,出现失败的数据。
     使用该方式,必须合理的切分步骤,使得运行效率达到最优。

   

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值