数仓系统 4次升级,过程中的一些思考。
BI 系统的衍变
我们的bi 系统经过了4次大版本衍变,详细如下:
bi 版本
相关的技术方案
1.0
azkaban离线脚本(hive -f 执行脚本),ads层建立es外表。
bi系统仅支持离线数据。
2.0
迁移离线脚本到db,建立ods,dwd,dim,mid,dws ads层.ads层的数据同步到es
3.0
建立主题,指标。dws层的数据接入kylin 。通过指标完成底层的数据指标复用。实时数据分析引入clickhouse
4.
原创
2021-07-08 22:16:26 ·
409 阅读 ·
1 评论