离线数仓的优化及重构

1. 背景

大概就是有那么一个数仓，然后简略结构如下：

从其他封闭系统产生的日志文件，经由本系统的后端部分近线解析，将结果直接存入MySQL，而后由数仓部分使用Python脚本洗入Hive，但这实在是太慢了。

在代码当中埋了一些输出点之后，经过对行为日志的分析，我们发现最慢的部分是在数据转换的Python脚本部分

更进一步地，Python脚本的结构大概是：

也就是说，MySQL当中存储的是JSON格式的数据，原设计是直接向Elasticsearch进行推送的，后来追加了一个存入Hive的通道

那么进一步分析Python脚本的流程，大概是：