一分钟了解阿里云产品：墨迹天气之阿里云MaxCompute实践

 

墨迹天气成立到现在5年多，已经积累了4亿用户。同时，在墨迹天气上，每天有超过 5 亿次的天气查询需求。墨迹天气已经集成了多语言版本，可根据手机系统语言自动适配，用户覆盖包括中国大陆、港澳台，日韩及东南亚、欧美等全球各地用户。运营团队每天最关心的是这些用户正在如何使用墨迹，在他们操作中透露了哪些个性化需求。

 

 

这些数据全部存储在墨迹的API日志中,墨迹天气的API每天产生的日志量大约在400GB左右，分析工具采用了阿里云的大数据计算服务MaxCompute。

 

使用MaxCompute流程如下：

 

1.在每个日志服务器上都安装了Fluentd及MaxCompute数据导入插件。日志数据通过流通道DataHub实时导入到MaxCompute。

 

2.数据分析作业分小时级和天级任务。数据开发工程师通过MaxCompute Python SDK向ODPS提交SQL 分析脚本，将统计后的数据导入Mongo DB。报表系统直接对接Mongo DB。

 

3.运营人员通过报表系统来查看用户统计结果。

 

整个数据分析过程也做了很多优化。以下是几点说明：

 

1. Fluentd是一款优秀的日志导入软件。支持300多个插件，基本上今天的大数据处理系统，Fluentd都能支持。Fluentd还支持自定义插件。墨迹选择了使用Fluentd向MaxCompute导入数据。

 

2.墨迹的服务器部署在不同时区，日志数据按天和小时两级分区流入到MaxCompute表中，但统计作业是发生在北京时间。由于时区不同，部分数据在统计时会落掉。Fluentd中Filter 插件可以完成这个转换操作。

 

3.墨迹分析的作业每天和每小时都会执行。分析后的数据导入本地Mongo DB，报表系统接入Mongo DB来做展现。墨迹分析工程师在本地使用定时调度Python脚本完成这些流程。SQL 分析脚本可以通过ODPS Python SDK直接提交到MaxCompute上执行完，完成后将统计结果放到List 对象。通过Python Mongo Client 将List写入Mongo DB。迁移到MaxCompute后，流程上做了优化，EMR的工作省掉了，日志数据导入到MaxCompute表后，通过SQL进行分析，完成后直接将结果写入本地Mongo DB。在存储方面，MaxCompute中的表按列压缩存储，更节省存储空间，整体上存储和计算的费用比之前省了70%，性能和稳定性也提高了很多。同时墨迹可以借助MaxCompute上的机器学习算法，对数据进行深度挖掘，为用户提供个性化的天气服务。

 

 

如果您想详细了解MaxCompute相关体验，请访问：

http://www.zhihu.com/question/24441220