处理亿级数据的“定时任务”,如何缩短执行时间?

面对处理亿级数据的定时任务,通过减少重复计算、分摊计算时间和降低单次计算数据量来优化。引入月积分流水汇总表减少计算次数,将集中计算分摊到每天甚至每小时,利用DTS或MQ实现实时计算,有效解决大规模数据处理的耗时问题。

继续答水友提问。

问题抽象

(1)用户会员系统;

(2)用户会有分数流水,每个月要做一次分数统计,对不同分数等级的会员做不同业务处理;

 

数据假设

(1)假设用户在100w级别;

(2)假设用户日均1条流水,也就是说日增流水数据量在100W级别,月新增流水在3kW级别,3个月流水数据量在亿级别;

 

常见解决方案

用一个定时任务,每个月的第一天计算一次。

//(1)查询出所有用户

uids[] = select uid from t_user;

//(2)遍历每个用户

foreach $uid in uids[]{

         //(3)查询用户3个月内分数流水

       &nbs

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值