通过Flink实现个推海量消息数据的实时统计

 

背景

 

消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。

 

个推在提供消息推送服务时，为了更好地了解每天的推送情况，会从不同的维度进行数据统计，生成消息报表。个推每天下发的消息推送数巨大，可以达到数百亿级别，原本我们采用的离线统计系统已不能满足业务需求。随着业务能力的不断提升，我们选择了Flink作为数据处理引擎，以满足对海量消息推送数据的实时统计。

 

本文将主要阐述选择Flink的原因、Flink的重要特性以及优化后的实时计算方法。

 

离线计算平台架构

 

在消息报表系统的初期，我们采用的是离线计算的方式，主要采用spark作为计算引擎，原始数据存放在HDFS中，聚合数据存放在Solr、Hbase和Mysql中：

 

 

查询的时候，先根据筛选条件，查询的维度主要有三个：

 

1. appId

2. 下发时间

3. taskGroupName

 

根据不同维度可以查询到taskId的列表，然后根据task查询h