数据仓库工程的职责是什么?
写shell脚本,将数据从不同的数据源导入到数据仓库中?写sql语句,将数据仓库中的数据整理汇总成业务报表到各个业务系统?
这样的工作方式,在一个刚刚开始启用的数仓的企业中,是绰绰有余的,也许还会因为能够看到这样的汇总的数据而感觉到有些许小小的激动。
数据仓库的职能变革
但是,在一个企业数仓已经构建了好几年的企业中,各个业务部门已经习惯调用统计数据来辅助管理决策的时候,每天可能从各个业务部门提交的新的报表需求就有十几二十个,在加上之前开发报表数据问题的核查,仅仅用人力去每天从数据到汇总数据一张张表的开发,就会出现开发的速度跟不上业务需求,开发报表的数据问题频发,数据质量受到质疑的种种问题。
所以这个时候,就需要进行变革了。
1、如何搭建好数据模型,在数仓中预先处理各种业务汇总数据,在业务需求提出之前,就已经在数据仓库里准备好各种维度下的汇总数据,供业务直接提取,走在业务需求之前
2、如果搭建好关键链路的监控系统和数据校验系统,预先发现数据问题
3、如何搭建数据问题追踪系统,让数据问题的原因更容易被发现
这几个方面做好啦,数仓的工作就可以从人力搬砖转变为更智能的智能数仓
建议
敏捷BI的方向