qq_45972323的博客

数仓维度建模

ods同步原始数据，保证数据的完整性。

比如说订单id，这种量级很大的维度，没必要用一张维度表来进行存储，而我们进行数据查询或者数据过滤的时候又非常需要，所以这种就冗余在事实表里面，这种就叫退化维度，citycode这种我们也会冗余在事实表里面，但是它有对应的维度表，所以它不是退化维度。数据集市（Data Mart），也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。从年的维度可以下钻到月的维度、日的维度等。如将超过200斤的称为大胖子。

在数据仓库（数仓）中，数据口径是指在数据统计和分析过程中，对数据的定义、计算方法、范围和标准等方面的详细规定。它确保了数据的一致性和准确性，避免因统计标准不一致导致的数据误解和混淆。通过数据分层，提供统一的数据出口，确保对外输出的数据口径一致，避免同一指标不同口径的情况发生。数据范围：确定数据的地域范围和业务范围。时间范围：明确数据的统计周期和时间窗口。例如，统计周期为每天，时间窗口为当天的00:00到23:59。例如，“用户注册数”指的是在某一定时间内通过平台注册的新用户数量。

数仓指标体系

数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，学习成本，总成本预算。集群监控：Zabbix，Prometheus。权限管理：Ranger，Sentry。元数据管理：Atlas。

flume 增量同步报错。

1.加载数据的小文件太多，saprk 加载这些小文件时，需要消耗资源。dwd_traffic_page_view_inc 装载数据很慢。

Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。也采用分布式无中心设计理念，采用分布式无中心设计理念，

为方便报表应用使用数据，需将ads各指标的统计结果导出到MySQL数据库中。datax支持hive同步MySQL：仅仅支持hive存储的hdfs文件导出。所以reader选hdfs-reader，writer选mysql-writer。null值 在hive和mysql里的存储格式不一样，需要告诉DataX应该如何转换。

离线数仓ADS层一级目录二级目录三级目录一级目录二级目录三级目录

DWS 层为公共汇总层，会进行轻度汇总，粒度比明细数据稍粗，基于 DWD 层上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。又称数据集市或宽表。在原始明细模型中会存在多个描述事实的维度，如日期、商品类别、卖家等，这时候需要确定根据什么维度聚集，如果只关心商品的交易额情况，那么就可以根据商品维度聚集数据。按照业务划分，如主题域流量、订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP 分析，数据分发等。聚集并不需要保持与原始明细粒度数据一样的粒度，聚集只关心所需要查询的维度。

离线数仓DWD层一级目录二级目录三级目录一级目录二级目录三级目录

离线数仓DIM层一级目录二级目录三级目录一级目录二级目录三级目录

（1）在hadoop102的/home/atguigu/bin目录下创建hdfs_to_ods_log.sh。（1）在hadoop102的/home/atguigu/bin目录下创建hdfs_to_ods_db.sh。（3）增加脚本执行权限。（3）增加脚本执行权限。

要在hadoop102里面load，如果在datagrip里面load它的导入是在本地（windows）里面导入的。嵌套数据类型：array < struct< id:int ,name:string> >在datagrip里面链接hadoop102的hive，查看导入的数据。1.定义: struct< id:int ,name:string>struct结构体：多个字段，每个字段都有他的字段名和字段类型。创建的日志表，要兼容 页面日志和启动日志。map : 结构中 所有的数据类型都要是一样的。

数仓开发工具datagrip 需要用到JDBC协议链接到Hive，需要启动hiveserver2。property.hive.log.file 指定了日志的位置。创建数据库gmall，并观察是否创建成功。实时监控，再把报错的操作再做一遍。所有用到的环境日志，逐一排查。对新建数据库，进行增删改查。