近几年大数据风生水起,随着大数据业务的不断开展,各大互联网公司包括一些传统企业都越老越重视数据价值的挖掘。
一、数据治理模型
在公司的日常运行中,各种数据分析和数据挖掘技术,为公司发展决策和业务开展提供数据支持。以某互联网公司为例,公司内部也形成了一套完善的数据治理方案,核心就是由大数据平台+数据仓库+数据治理平台+数据监控平台来实现数据治理。
大数据平台支撑整个大数据的运行环境
数据仓库整合各个业务线的数据,消灭数据烟囱
数据治理平台提供统一指标管理、统一维度管理、统一数据出口管理
数据质量负责监控数据资产质量状态、持续推动数据质量监控优化预警、实时监控预警
二、常见问题
公司业务的不断发展加快了数据膨胀的速度,数据不一致等问题也随之而来。同时业务部门的频繁增加和剥离也会对数据治理带来挑战。
例如:不同业务线之间没有统一的数据入口记录和加工业务的发展过程;不同业务线的数据分析人员、数据开发人员,不同产品线之间缺乏有效的沟通,人员的流动也会产生一系列对接问题。