竞速榜实时离线对数方案演进介绍 | 京东云技术团队

一、背景

竞速榜是大促期间各采销群提供的基于京东实时销售数据的排行榜，同样应对大促流量洪峰场景，通过榜单撬动品牌在京东增加资源投入。竞速榜基于用户配置规则进行实时数据计算，榜单排名在大促期间实时变化，相关排名数据在微博、朋友圈广泛传播，相关计算以及排名的准确性至关重要。

竞速榜的每个榜单配置规则都会有差异，为保障榜单数据计算准确，需要在大促开始前对榜单实时排名数据进行核对，主要验证方案为在第二天取前一天的实时排名数据，另外根据榜单规则配置信息，计算相关的离线数据，进行实时离线数据对比，验证数据的一致性。

单个榜单规则有20+个不同配置项，每个配置都相互独立，需要针对每个规则分别进行数据验证

二、对数方案演进过程

2.1、纯人工 - 成本高且无法完整覆盖

最初阶段为纯人工对数，分别获取对应竞速榜的实时和离线数据，进行人工比对

1）**实时数据：**每天23:59 定时读取榜单数据接口，记录对应榜单数据

2）离线数据：根据榜单规则手动编写离线SQL脚本，通过数据查询执行SQL获取榜单排名数据

整个操作过程消耗时间较长，SQL编写需要1小时，单SQL执行0.5小时，为覆盖所有规则，一次需要完成100多个规则的配置和SQL编写以及数据验证，在规则不变情况下，预计需要消耗20人日才能完成一次完整测试， 且脚本编写需要对业务规则深入了解，对测试人员SQL水平要求也较高。

2.2、半自动化 - 持续消耗人力

竞速榜主要在大促期间使用，除功能测试覆盖规则外，在大促前还要对业务方配置的规则进行数据验证，确保用户配置规则的计算准确性，以23年618为例，共有5000+榜单规则，如果仍然使用纯人工验证数据的方案，需要900+天，完全不可行。因此实现了半自动化对数方案，和人工对数方案相比，解决了离线SQL的自动化生成，实时数据的自动获取等问题。

具体方案如下：