半小时到秒级，京东零售定时任务优化怎么做的？

京东零售技术

于 2024-02-27 17:23:16 发布

阅读量1.7k

点赞数 23

分类专栏： java 后端文章标签： java 后端 mysql 性能优化

本文链接：https://blog.youkuaiyun.com/zheli1969917/article/details/136315237

版权

导言：

京东零售技术团队通过真实线上案例总结了针对海量数据批处理任务的一些通用优化方法，除了供大家借鉴参考之外，也更希望通过这篇文章呼吁大家在平时开发程序时能够更加注意程序的性能和所消耗的资源，避免在流量突增时给系统带来不必要的压力。

业务背景：

站外广告投放平台在做推广管理状态优化重构的时候，引入了四个定时任务。分别是单元时间段更新更新任务，计划时间段更新任务，单元预算撞线恢复任务，计划预算撞线恢复任务。导言：京东零售技术团队通过真实线上案例总结了针对海量数据批处理任务的一些通用优化方法，除了供大家借鉴参考之外，也更希望通过这篇文章呼吁大家在平时开发程序时能够更加注意程序的性能和所消耗的资源，避免在流量突增时给系统带来不必要的压力。

时间段更新更新任务：

由于单元上可以设置分时段投放，最小粒度是半个小时，每天没半个小时都已可以被广告主设置为可投放或者不可投放，当个广告主修改了，这个时间段，我们可以通过binlog来异步更新这个状态，但是，随着时间的流逝，单元有可能在上半个小时处于可投放状态，来到下半个小时就处于不可投放状态。此时我们的程序是无法感知的，只能通过定时任务，计算每个单元在当前时间段是否需要被更新子状态。计划时间段更新任务类似，也需要半个小时跑一次。

单元预算恢复任务：

当单元的当天日预算被消耗完之后，我们接收到计费的信号后会把该单元的状态更新为预算已用完子状态。但是到第二天凌晨，随着时间的到来，需要把昨天带有预算已用完子状态的单元全部查出来，然后计算当前是否处于撞线状态进行状态更新，此时大部分预算已用完的单元都处于可播放状态，所以这个定时任务只需要一天跑一次，计划类似。

本次以单元和计划的时间段更新为例，因为时间段每半个小时需要跑一次，且数据量多。

数据库：

我们的数据库64分片，一主三从，分片键user_id(用户id)。

定时任务数据源：

我们选取只有站外广告在用的表dsp_show_status作为数据源，这个表总共8500万（85625338）条记录。包含三层物料层级分别是计划，单元，创意通过type字段区分，包含四大媒体（字节，腾讯，百度，快手）和京东播放的物料，可以通过campaignType字段区分。

机器配置和垃圾回收器：

单台机器用的8C16G

-Xms8192m -Xmx8192m -XX:MaxMetaspaceSize=1024m -XX:MetaspaceSize=1024m -XX:MaxDirectMemorySize=1966m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8

定时任务处理逻辑

对于单元，

第一步、先查出来出来dsp_show_status 最大主键区间MaxAutoPk和最小区间MinAutoPk。

第二步、根据Ducc里设置的步长，和条件，去查询dsp_show_status表得出数据。其中条件包含层级单元，腾讯渠道（只有腾讯渠道的单元上有分时段投放），不包含投放已过期的数据（已过期的单元肯定不在投放时间段）

伪代码：

startAutoPk=minAutoPk；
while (startAutoPk <= maxAutoPk) {
     //每次循环的开始区间
     startAutoPkFinal = startAutoPk;
     //每次循环的结束区间
     endAutoPkFinal = Math.min(startAutoPk + 步长, maxAutoPk);
      List<showSatusVo>  showSatusVoList =
                   showStatusConsumer.betweenListByParam(
                    startAutoPkL, endAutoPkL, 
                    条件（type=2单元层级，不包含已过期的数据，腾讯渠道）)
   startAutoPk = endAutoPkFinal + 1;
}

第三步、遍历第二步查询出来showSatusVoList，得到集合单元ids,然后根据集合ids去批量查询单元扩展表，取出单元扩展表里每个单元对应的start_time，end_time，time_range_price_coef字段。进行子状态计算。

计算逻辑伪代码：

1、当前时间<start_time，子状态为单元未开始投放

2、end_time <当前时间，子状态为单元投放已结束

3、start_time<当前时间<end_time 且当前时间不在投放时间段，子状态为单元不在投放时间段

4、其他，移除单元未开始投放，单元投放已结束，单元不在投放时间段三个子状态

然后对这批单元按上面的四种情况进行分组，总共分为四组。如果查询来的dsp_show_status表的子状态和算出来的子状态一样则不加入分组，如果不一样则加入相应分组。

最后对这批单元对应的dsp_show_status表里的记录进行四次批量更新。

计划时间段任务处理逻辑类似，但是查询出来的数据源不包含腾讯渠道的，因为腾讯的渠道的时间段在单元上，计划上没有。