dubbo + zookeeper 框架问题

探讨使用Dubbo框架在面对大量数据写入Oracle数据库时的挑战与解决方案,包括分批插入策略及处理连接超时的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Dubbo分布式框架处理大量写入问题
背景:dubbo+zookeeper 当前比较流行的分布式框架,当涉及数据量过大时,遇到的问题,先mark下来,方便后面总结学习
问题:需向数据库大量插入数据(数据库Oracle),该过程会涉及两个问题。
一是数据库单次插入数量不能超过1000条,否则会内存溢出。
二是,分布式框架涉及到各个服务间的通信问题,一个请求的通信时间不能过长,否则会连接超时。
解决方案:
1.采用分批次插入数据库,一次导入100条。并把此写入任务类中,通过任务类实现调用该Service。再通过串行MQ定时调用该任务。
2.连接超时,采用定时任务轮询状态调用分发任务,不通过前端调用分发。自然不存在通信问题。
遗留问题
因为采用的是分批插入,数据的完整性不能完全保证。
当一批数据出现插入失败的时候,会造成一部分数据入库,另一部分数据则未入库。
如何解决?
更新任务状态为发布失败,并且开放发布按钮,可重新发布。重新点击发布后,只是改变原任务的状态为发布中,后台轮询后接着分发任务。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值