- 博客(20)
- 收藏
- 关注
RSS订阅原创 02_数仓分层设计
一站制造：将整个公司所有数据统一化在数据仓库中存储准备，根据以后的需求，动态直接获取数据。：明细数据层：对ODS层的数据根据业务需求实现ETL以后的结果：ETL以后事务事实表。从上到下：在线教育：先明确需求和主题，然后基于主题的需求采集数据，处理数据。：数据集市：按照不同部门的数据需求，将暂时没有实际主题需求的数据存储。关联：将主题事实的表进行关联，所有与这个主题相关的字段合并到一张表。：基础数据层：类似于以前讲解的DWM，轻度聚合。：维度数据层：类似于以前讲解的DIM：存储。
2025-02-11 00:20:16
212
原创 数据仓库工具箱阅读笔记
收集业务需求与数据实现协作维度建模研讨4步骤维度设计过程选择业务过程声明粒度确认维度确认事实业务过程：组织完成的操作型活动、获得订单、处理保险索赔、学生课程注册、每个月每个账单的快照。粒度：粒度用于确定某一事实表中的行表示什么描述环境的维度用于度量的事实星型模型与OLAP多维数据库方便地扩展到维度模型。
2025-01-10 13:00:00
1704
原创 指标异常排查
对于某一块业务来说，建立完数据指标体系，整体的业务就得到监 控。当数据发生异动时，通过数据指标体系拆解，能够快速定位问题。本节的重点有三个：第一，理解数据异动背后的业务意义，这是最重要 的；第二，出现数据异动后，应该如何快速定位问题；第三，从数据埋 点到数据指标体系再到数据异动分析的闭环思维体系。
2024-07-03 10:30:00
1136
原创 构建指标体系
指标体系的功能大致有三点：1. 形成标准化的衡量指标，监控业务发展状况指标体系是一套固化下来的业务监控指标，可以长期监控业务的发 展趋势，评价业务的现状。2. 通过指标分级治理，快速定位业务问题，优化业务方向从上述的分析中，我们很容易发现中国人口结构上的问题，自然增 长率太低，如果这个问题不解决就意味着未来年轻人会越来越少，老年 人会越来越多。要分析这个问题，数据分析师就需要具体定位一下问 题，从而对症下药。3. 形成标准化体系，可减少重复工作，提高分析效率指标体系是数据结果体系化的展示。
2024-06-29 15:24:25
1172
原创 数据分析示例-App付费用户的数据标签体系的构建
标签查询是数据标签体系基本的应用场景，业务方可以通过用户标 签查询所需的用户群体，对不同类型的用户群体实现精细化运营。当然，对于用户的社会属性等标签信息往往是基于用户行为使用一定的 算法推断出来的，也有基于第三方数据获取的。无论是面对用户分群的分析需求，还是指标体系的搭建相关需求， 数据分析师基本都可以从数据标签体系底层表中直接取数，而不需要通 过SQL再写几十行代码对数据进行分箱（分类），进而生成相应的标 签，所以能够节省一定的时间成本，提升分析效率。完成数据标签的开发之后，就到了部署上线的环节。
2024-06-29 14:40:55
866
1原创 eclipse 执行mr程序异常
eclipse 执行mr程序异常项目场景：这里简述项目相关背景：windows10 连接远程hadoop 集群，执行mr程序，报错问题org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V环境信息：win10+jdk8+hadoop27.74 cdh问题描述：log4j:WARN No appenders could be found for logger
2021-03-10 17:28:27
196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人