1) Excel阶段
企业最初是使用Excel来进行数据分析的,这个阶段属于纯劳动力密集型的数据分析,因此这个阶段的数据分析师在行业内还被戏称为“表哥表姐”。
Excel虽然功能强大,但也有很多局限性:
①明细数据直接成百上千行地显示着处理让人眼花,不像数据库那般好处理;
②当Excel数据量达到5万、10万或者更高,就会非常卡顿;
③当数据密集的时候,往往承担不了复杂的数据处理,比如多表关联、数据清洗等。
2) 报表工具阶段
企业使用报表工具,并通过数据建模设计展示图表,进而实现固定报表的自动化。
类似于powerBI或者tableau这些可视化报表工具。
这个时候,数据层面不一定已经进入自研阶段,但是使用一些报表工具来优化报表。
这个报表工具阶段,解决的是一些报表层面的问题,在制作报表时相比Excel更加快捷可视化,但是还没有解决数据层面的问题,有自己的局限性:
①报表是固定模板,不能支持底层模板的调整,只能展示预先设好的几个维度的数据,如果想要展示更多数据需要设计和配置新的报表。在响应业务变化需要进行图表模板调整的时候,无法进行有效支持底层模板的调整。(模板一般也够多够用)
②报表无法获取实时数据,也就无法实时获取有效信息。
③只是实现了固定图表的自动化,但是大量数据的卡顿和复杂处理还是没有解决。
3) BI阶段
进入BI建设阶段,企业一般会引入专业的IT开发人员和数据分析师。
BI(商业智能)在报表的基础上融入了更多更强的数据分析能力。
主要的问题是,开发周期长且成本高,需要有专门的人才根据业务需求进行整体的架构设计,各个模块也需要进行技术开发。需要企业舍得投入成本和时间去建设。
有些网上的一些数据类文章喜欢把BI分为传统BI和智能BI来说区别,他们只是来卖BI软件的,大家不要被误导了。所谓的传统BI和智能BI的区别只是在可视化生成报表层面的是否可以托拉拽操作而已。一线执行的业务人员可以通过智能BI进行自主业务数据分析,自主分析实现业务探索,某种程度上减轻了IT部门的支撑压力。虽然声称可以实现人人都是数据分析师,实际上可以理解为你拿到了更加方便的数据分析工具或者产品原型工具,只是更加方便各个业务人员自己简单使用可视化工具来生成图表,可以快速简单地找一些自己要的数据并搞出报表。
BI是一整套的解决方案,不会因为只是在可视化方面优化操作就产生了巨大的区别。
更加核心的底层部分还是需要专业的数据分析师跟业务人员一起来梳理制定,比如指标体系设计、业务口径、数仓方案,数据生成和埋点方案。
并不是人人都是数据分析师,其他职业也有类似的误导的话,比如实现人人都是产品经理,实际上一个公司里有产品能力的人并不多,并不是人人都是产品经理。
BI的区别重点不在于可视化方面的传统BI智能BI,
更核心的BI区别在于数据层面,自研还是第三方。
其实,关于自研还是采购这个问题,这比较看公司业务的发展阶段的。
自研的成本高,周期长,并不是所有公司都适合一开始就搞自研的。企业根据业务发展阶段来选择自己适合的数据工具,随着发展而完善BI系统即可。
如果是初创型公司,业务还在发展阶段,甚至都没啥数据,其实没有必要投入过多的人力和资金成本。产品经理甚至可以充当半个分析师的角色。
如果是中型公司,可以先用一些免费的工具,如果在某个具体场景上有需求,可以定向采购。尽量不要贸然自研,因为一套BI系统需要长时间的打磨,不如采购。省下的人力招聘1-2个专门负责的数据分析师,协助乙方进行应用的落地,是性价比比较高的。
如果是中大型公司,可以考虑自研+采购,要给自研预留一定的时间,逐步过渡到自己的系统上。
而大型公司,例如BAT这种体量的,那就不用纠结了,肯定自研好了。因为要考虑到更加自主的定义数据口径和数据应用还有数据安全,如果是第三方平台采集,那自己可能不一定能够定义口径和验证数据,分析能力大打折扣,更有数据安全隐患,肯定是自研更好。毕竟有钱有人,说不定做好了还能对外赋能,进行SaaS服务。
从公司层面来说,选择自研需要考虑哪些方面?
可以从企业的成本、需求、业务层面来进行评估:
1、成本层面:
①人力成本,自研需要足够的研发人员,在开发资源能够得到保障的前提下进行。
②时间成本,搭建BI平台是个长期规划,而不是短时间就得上线的紧急需求,整体投入回报较慢,且需要整体IT部门长时间运维升级。
2、需求层面:
①定制化需求:如果第三方供应商的产品功能不满足企业现阶段的需求,需要按照公司内部信息化建设的特殊性进行量身定制。
②数据安全:企业需求涉及到核心机密,担心使用第三方供应商会存在数据泄露风险。这一点也需要看第三方产品是否有专门的安全团队和对于安全的响应机制。
③数据回传:若第三方产品不支持对处理后的数据进行回传,导致不能充分发挥数据的价值和补充此类数据的业务判断逻辑时,需要通过自主研发对获取的数据进行二次开发。
3、业务层面:
①业务体量:考虑前面2者的基础上,如果当前的业务体量也比较小,产品可以先通过自主研发给到MVP(最小可行性产品)版本的解决方案,后期再逐步迭代。
②需求范围与需求变动:自研的产品在可拓展性上更好一点。
无论是自研还是采购,对于数据分析师、或者是数据产品经理来说,都要知道,一套优秀的BI系统应该是怎样的。虽然不是所有的数据产品都有机会参与到BI系统的搭建上(正如前文提及的,中大型公司才会自研),但了解BI系统却是所有公司必须的,不然你做采购的时候,也容易被忽悠。
优秀的BI系统,首先性能要好。很多软件或者平台,做一个数据的处理,要消耗比较久的时间,这无疑带来了效率的下降。性能好的背后代表了强大的技术支撑。
其次,在可视化上要丰富,操作上要便捷。目前绝大部分的BI系统其实操作的交互差不多,但细微处还是能见到功夫的。
最后,就是在数据的处理环节上,要做到有层次。BI系统中的数据处理无疑是比较重的环节了,要对主干的流程进行突出,而一些细节的数据处理功能要支持,但不能喧宾夺主。不然面对一堆复杂的操作选项,用户是无法进行上手的。