|0x00 数据研发的技能栈
“你的价值是什么?”
这可能是做数据的同学,最经常被问到的问题。早期数据从业者是比较开心的,能够应用Hadoop框架做工具,就已经能够解决mysql时代面临的海量数据问题了,价值不言而喻。有道是:“会写MR,月薪过万”。
但是如今,随着工具的不断发展和完善,尤其是商业化方案的高度完善,会使用大数据工具,来处理海量数据,已经是从业新人的标配了,甚至很多非专业的人士都能够轻松驾驭。这个事情,如何更进一步,利用数据技术,来解决业务问题,就是行业对于从业者的新要求了。
|0x01 问题的来源
除去电商等高度数字化的行业,很多行业推广数字化并不是非常顺畅,即便是一些互联网公司,在面对供应链这种数字化程度不高的领域时,也常常一筹莫展,究其原因,是因为遇到了两个方面的困难。
一个困难,叫作个性化;另一个困难,叫作人性化。
什么是“个性化”?作为技术部门,我们非常希望设计一些比较通用的方案,能够在不同的地方加以应用,比如利用维度建模的理论,设计一套比较合理的模型,下游能够广泛使用。但实际情况却是,随着很多创新业务的快速上线,业务要求先出Demo,也就是MVP版本,导致技术不得不紧跟变化,往往在不熟悉业务的情况下,设计一些方案来应用。如果业务发展比较不错,我们尚且有机会对模型进行重构,如果发展的不顺利,那么很多代码就只能放在那里,无法下线,维护成本却又很高。
可以说,通用的业务模型,都是时间沉淀出来的&#