报表自动化: 事实、维度与指标的三方会谈

本文探讨报表自动化中事实、维度和指标的存放、依赖关系及其设计。介绍强ETL和弱ETL方案,强调避免跨层调用以保持数据仓库的层次清晰。同时讨论了维度和指标的分层,以及如何在设计阶段建立良好的基础以减少后期重构成本。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前面的《报表自动化: 没有压力的维度建模》以及《报表自动化: 薅出数字背后的价值》两篇文章分别提及了维度建模中的事实维度,以及指标三种表,那么他们之间具体有什么关系呢?前面都零星提到了一些,现在让我们来具象化的了解一下这个关系。

存放在哪

继续上之前手残画的图:

image-20200226211739979

其中模型,在维度建模中就是事实和维度了,为这张图已经直观的展示出了三者放在那里了:

  • 简单的情况:DW 库存放事实和维度,DM 库存放指标
  • 复杂的情况:DW 存放事实和维度,同时存放不同团队、业务、产品公用的通用指标;DM 各个业务、产品的仓库拉取需要用到的 DW 库里的模型以及通用指标,并构建一定的专用模型以及大量的自己的专用指标
  • 极简的情况:也许根本就没有区分 DW、DM 两层数据库,一个库里搞定了

上面提到了通用、公用的概念,这就类似于 JAVA 代码或者说是我们常规的后端服务开发代码里面的抽取重复代码了,但是在数仓里面的抽取要注意:逐层下沉,满足复用需要即可

依赖关系

上面只显示了各层数据库要如何存放,那么他们是如何构建成这个层次分明的金字塔呢?

强 ETL 方案

先来展示一种在流程上来说简单的依赖方式,这种方案里的 ETL 工

企业数据运营管理分析方法论 企业日常运营场景 总经理及时得到经营信息,将发现的问题迅速下放,确定会议⽬标。 运营总监进⾏初步分析,确定问题⽅向,交由数据⼈员进⼀步分析探索。 数据分析⼈员从多维度展开⾃助分析,定位问题产⽣的关联因素。 运营⼈员根据分析结果给出运营调整建议,⾃动⽣成会议报告。 总经理在会议中形成决策,协调相关部⻔参执⾏。 发现问题 分析原因 改善措施 决策执⾏ 企业运营面临的痛点 决策者痛点 ⽆法及时全⾯地掌控企业整体运营 状况,影响决策效率。 ⽆法将经营压⼒迅速向下释放,影 响执⾏效果。 中层管理者痛点 ⽆法迅速地发现问题和准确地定位 原因,影响管理效能。 ⽆法精准的组织汇报内容,造成价 值传递效果衰减。 ⼀线⼈员痛点 需要规范业务流程,提升作业效 率。 需要⼤幅减轻⼯作量,简化重复 劳动。 解决痛点的关键 是要解决企业使⽤数据的瓶颈问题 业务发展的瓶颈 数据分析需求得不到及时响应 缺乏 对业务现状的准确把握 缺乏 对业务背后逻辑的洞察 缺乏 对业务未来的可见预测 报表固定且老化,数据利用率低。 市场占有率,用户画像,服务质量, 营销ROI…. 数据关联性差,难以多维度观察。 季节性波动,竞争格局演变,结构性调 整,用户流失… 缺乏全量数据分析和利用,难以全局判断。 周期性规划,战略目标制定,业务增长点 预测,消费结构升级… 难以量化 难以捉摸 难以预测 数据要解决的瓶颈问题 数据要解决的瓶颈问题 IT中心的瓶颈 IT集权下疲于应对 IT放权下数据管理混乱 需求多,响应慢 熬夜加班多,成就感低。 数据准确性低,安全性差 内部数据壁垒多 数据要解决的瓶颈问题 大数据应用瓶颈 不利用时心慌,利用时迷茫,如何走好"最后一公里"? 数据体量的增加 服务器/硬件的升级 数据底层架构的升级 数据体量增至PB/EB级 数据结构更加多元复杂 服务器 内存 存储 带宽 Hadoop Spark Greenplum Storm 数据应用层升级 如何将数据价值变现? 定义企业数据资产使用所处阶段 沉睡阶段 起步阶段 发展阶段 成熟阶段 数据的使用形式: 基 础 统 计 使用的工具: 完全依赖Excel 数据人员素质: 兼职,手工Excel 对数据的价值观: 眼中只有Excel 数据的使用形式: 基 础 报 表 , 简 单 报 告 使用的工具: Excel为主,数据库为辅 数据人员素质: 少量专职 对数据的价值观: Excel满天飞 数据的使用形式: 汇 总 分 析 , 专 题 分 析 使用的工具: 数据库为主,开始数仓建设 数据人员素质: 数据分析团队 对数据的价值观: 业务依赖数据报表 数据的使用形式: 数 据 门 户 , 业 务 数 据 应 用 产 品 使用的工具: 大数据平台,各类型数据组件 数据人员素质: 大数据中心 对数据的价值观: 不同业务场景对应不同的数据产 品和模块 制定数据资产管理规划 第一阶段 解决数据孤岛问题 第二阶段 解决数据口径问题 第三阶段 解决数据价值问题 数据仓库 采集调度平台 BI展现平台 报表平台 企业数据标准 数据治理标准 开放数据服务接口 开放BI开发平台 主数据提供者 企业系统整合 输出:数据基础平台 输出:数据标准 输出:主数据系统 具体的做法(1/8) 重构企业运营指标逻辑 纵向抓问题 横向抓运营 全项目列表: 项目检索,异常体现,关键指标呈现 单项目总览: 主因分析,版本对比,指标变化体现 单模块详情: 版本对比,集团目标对标 规模 利润 现金流 投资 储备 生产 供货 销售 结转 库存 具体的做法(2/8) 建立企业数据流转模型 业务流 数据流 输出《业务 / 数据逻辑流程》 具体的做法(3/8) 建立企业指标体系 整理各项指标 指标分类 输出《指标体系目录》 定义指标间逻辑关系 业务指标 财务指标 职能指标 具体的做法(4/8) 建立维度和分析方法 维度分析 体系分析 模块分析 钻取 / 上卷 联动 同比,环比,累计, 计划实际,占比,排名, 对比,平均,走势 管理驾驶舱 营销KPI体系 经销商门店管理 竞品分析 预测分析 具体的做法(5/8) 对报表进行整合,形成主题分析模块 形成报表:整合需求输出单一报表。 形成报表簇:围绕某一个业务场景或业务模块整合涉及到的所有报表,输出报表簇。 形成模块:分析目的 分析维度 报表簇 主题模块 具体的做法(6/8) 培养建立人员结构体系 懂数据 懂业务 懂管理 输出:复合型人力资本 具体的做法(7/8) 建立数据的应用体系 领导驾驶舱(数据大屏) 自助式分析(BI) 异常指标预警(手机短信) 移动报表(手机端APP) 多维度分析(PC) 高效会议报告(会议室演示) 基础报表查询(各业务场景) 数据采集补录(填报,其他非结构化数据)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值