研发效能工程实践-利用Superset快速打造大数据BI平台

大数据BI平台自研之殇

随着互联网发展，现在随便哪个公司都手握大量数据。如何利用这些数据为公司商业带来价值，触使各个公司投入大量人力财力去做商业智能。
早期的BI可能就是公司Leader叫开发小哥写几句SQL导出数据，然后导入到Excel里绘制几个图表；这一模式维持了一段时间，后来领导觉得这帮业务开发只会导数据，一点想法都没有，忽然有一天在网上看到数据分析师心想这不就是我要找的人吗？就这样公司招来一个数据分析师，数据分析师来了之后效率果然提升了不少，而且总是能做出让老板眼前一亮的报表。这样的日子又维持了一段时间，随着公司越来越大，数据也越来越多，老板开始嫌弃，数据分析师每次都是那些报表，太单一，而且没有一个平台让他实时的看数据。老板说我们要大数据平台，我要实时报表，赶紧让下边的那帮数据分析师和开发给我搞，我现在就要。开发和数据分析师收到指示后表面笑嘻嘻，心里MMP上哪儿给你搞一个平台
开发们拿到指示后开始分析，一个大数据BI平台需要哪些组件，分析一通之后，说最起码需要这些

• 自定义仪表盘
• 支持配置各种图形组件
• 实现一个查询引擎，可能要支持多种数据库
• 得有一套查询任务调度器，不然如果是同步的，查询的人一多，数据库就BBQ了
• 你得支持数据图表下钻吧
• 过滤条件得支持吧
• 自定义SQL得支持吧
• …

列完之后，一个开发问了旁边小伙伴：“老板是说一个月要看到效果吗？”，小伙伴回答：“可不”，开发问小伙伴“看见我的桶了吗？”，小伙伴一脸疑惑：“干啥？”，开发答道：“提桶跑路啊，不然我还真一个月做一个平台出来呀”
一个小公司要想短时间之内做一个“基本可用”的BI平台，那几乎是不可能完成的任务。好在你想到的问题，开源社区的大佬早就给你准备好答案了，Superset可以满足你的基本需求，superset在Github上已经有4.9w的星星，可见其火爆，有了它，开发小哥不跑路了，淡定的去茶水间泡了一杯咖啡，边喝边说：“慢慢来，慌啥呀”

Supers