剑指数据仓库-项目篇(四) - DWS层&&ADS层指标计算

最新推荐文章于 2025-09-05 09:56:21 发布
最新推荐文章于 2025-09-05 09:56:21 发布
阅读量3.5k 收藏 8
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 剑指数据仓库-项目篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SparkOnYarn/article/details/105460505
本文详细介绍了数据仓库项目中DWS轻度汇总层的构建过程，包括DWS调度、ADS层指标计算、数据抽取问题及解决。在DWS调度中，遇到Hive与MySQL字段冲突问题，通过替换特殊字符解决。在ADS层，讨论了如何计算订单和退货总量，以及处理TopN需求。同时，文章提及了行转列操作和数据导出，并分享了Rundeck运行中遇到的Linux OOM问题。
了解本专栏 订阅专栏 解锁全文
剑指数据仓库-项目篇(三) - 数据建模的三种模型&&ods层到dwd层介绍
SparkOnYarn的博客
04-11 5212
一、上次课回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、数仓分层-星型模型 2.3、数仓分层-雪花模型 2.4、数仓分层-星座模型 三、ERP项目架构 3.1、数仓分层流程图 一、上次课回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105430370 主要讲了ERP的一些模块（基础信息维护、采购、销售、零售流程维...
剑指数据仓库-项目篇(二) - 数仓的各项理论知识&&订单表设计案例
SparkOnYarn的博客
04-10 931
一、上次回顾 二、数仓的各项理论知识 2.1、什么是数据仓库 2.2、基础资料 2.3、商品管理 2.4、采购管理 2.5、销售管理 2.6、零售管理 三、ERP系统核心-仓库 一、上次回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105388526 简单回顾：基础资料、商品类别（SKU）、供应商、商家+用户、采购流程、销售 仓库 ...
大数据开发-数仓ads层指标计算
Hoult丶吴邪
12-13 2277
ads层数据往往是最终的结果指标数据，在大屏展示，或者实时流处理时候使用，通过下面两个例子来练习业务大屏展示sql该怎么写。 1.会员分析案例 1.1 数据准备 表结构如下，其中此表是dws层以天为维度的会员表，比如每天的会员信息汇总， use dws; drop table if exists dws.dws_member_start_day; create table dws.dws_member_start_day( `device_id` string, -- 设备id，来区分用户 `uid` st
全国职业院校技能大赛-大数据 离线数据处理模块-指标计算
weixin_71868447的博客
01-07 2142
指标计算部分的难点就是多表查询的部分已经开窗函数的合理运用，因此熟练掌握HiveSQL中高级函数的部分是非常重要的
数据仓库分层设计：ODS/DWD/DWS/ADS总结
最新发布
DataLaneYoker
09-05 1395
数据分层架构设计是数据仓库建设的核心环节，采用ODS（原始数据层）、DWD（明细数据层）、DWS（汇总数据层）和ADS（应用数据层）四层结构。各层职责明确：ODS保留源系统原始数据，仅做技术处理；DWD进行业务清洗和维度退化；DWS按主题聚合通用指标；ADS面向具体应用场景。关键原则包括严格单向数据流动、指标口径一致性和分层边界把控，避免过度分层和层间耦合。随着技术发展，分层架构正与DataMesh、实时计算等新范式融合，需要在标准化与灵活性间保持平衡。良好的分层设计应像城市规划，功能区划分清晰且具备扩展弹
数仓及其维度(分层)建模(ODS DWD DWS DWT ADS)
weixin_45532984的博客
05-12 1万+
一. 数仓及其维度 1. 什么是数仓？ 数据仓库，简称数仓,（ Data Warehouse ）。从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。 数仓主要是为企业制定决策，提供数据支持的。当业务简单，可以用数据库来存储，分析，制表。但当数据量几何式增长，需要跨机器整合时，数仓就是非常必要的了。 2. 数仓的特点 （1）集成性 数仓中存储的数据来源于多个数据源，原始数据在不同数据源中的存储方式.........
剑指数据仓库-Hadoop一
SparkOnYarn的博客
03-20 493
一、上次课程回顾 二、初识Hadoop 2.1、最基础的MySQL语法 2.2、MySQL中union联合查询&&join连接&&求和统计 三、SQL语句实操 四、本次课程作业 一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/104904205 二、初识Hadoop Hadoop的官网：h...
剑指数据仓库-SQL01
SparkOnYarn的博客
03-16 557
一、上次课程回顾 二、MySQL语法一 2.1、/etc/hosts文件配置 三、本次课程面试题&&作业 3.1、本次课程补充 一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/104876632 软连接（软件升级、日志迁移），日志迁移场景，磁盘爆了，把50G硬盘的数据移动到2T硬盘中去，ln -s进行软...
数据科学家之路: 数据仓库开发教程 (DW)- 数据模型架构&编码规范 & 分层 ODS / DWD / DWS / ADS...
AI天才研究院
09-18 1万+
数据层次的划分ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史...
详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS
热门推荐
AI天才研究院
08-27 2万+
事实表的记录在不断地增长，比如电商的商品订单表，就是类似的情况，所以事实表的体积通常是远大于其他表。但是，实际情况下，我们所面临的数据状况很有可能是复杂性高、且层级混乱的，我们可能会做出一套表依赖结构混乱，且出现循环依赖的数据体系，比如下面的右图。该层是基于DWM上的基础数据，整合汇总成分析某一个主题域的数据服务层，一般是宽表，用于提供后续的业务查询，OLAP分析，数据分发等。该层是在DWD层的数据基础上，对数据做一些轻微的聚合操作，生成一些列的中间结果表，提升公共指标的复用性，减少重复加工的工作。
剑指数据仓库-Hive01
SparkOnYarn的博客
03-28 523
一、前情回顾 二、Hive01 2.1、Hive产生背景（Schema信息） 2.2、初识Hive 2.3、解析wordcount.java 2.4、Map Task的启动个数由谁来决定？ 2.4、生产上文件格式、压缩格式的考量？ 2.5、WordCount流程图解析（Shuffle） 三、作业 一、前情回顾 Hadoop： 狭义：单单指apache hadoop软件（最最重要基础的一个部分）...
话单数据仓库搭建（3）- 数据仓库DWS及ADS层
qq_42409495的博客
12-27 1467
1 活跃用户 1.1 DWS层 目标：统计当日、当周、当月活跃用户 活跃用户指的是在统计周期内由过通话记录的用户 1.1.1 每日活跃用户明细 1）建表语句 hive (calllogs)> drop table if exists dws_au_detail_day; create table dws_au_detail_day( sys_id string, service_name string, home_province_code string, visit_province_
数仓分层——ODS、DW、ADS
麦当当的博客
05-07 1万+
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
剑指数据仓库-Shell命令一
SparkOnYarn的博客
03-10 740
Linux Shell命令一 1.1、环境准备 1.2、linux基础命令 开始修改配置文件 二、出现的问题及解决 2.1、解决SecureCRT对话框session超时 2.2、Linux上的日志如何下载到windows 2.3、本次课程作业 Linux Shell命令一 1.1、环境准备 建议自行购买一台阿里云、京东云主机，安装Xshell CRT安装包、SecureCRT安装...
04 电商数仓(用户行为数据仓库 DWS/ADS层)
朱古力的博客
06-02 2517
电商数仓(用户行为数据仓库 DWS/ADS层) 文章目录电商数仓(用户行为数据仓库 DWS/ADS层)1. 业务知识准备1.1 业务术语1.2 系统函数1.2.1 collect_set 函数1.2.2 日期处理函数2. 需求一：用户活跃主题2.1 DWS 层：服务数据层2.1.1 每日活跃设备明细2.1.2 每周活跃设备明细2.1.3 每月活跃设备明细2.1.4 DWS 层加载数据脚本2.2 ADS 层：数据应用层2.2.1 活跃设备数2.2.2 ADS 层加载数据脚本3. 需求二：用户新增主题3.1 D
基于doris实时数仓指标计算
qq_43118086的博客
05-06 1536
基于doris实时数仓指标计算 1、流程图 2、计算字符uv字典表生成流程 涉及设备uv去重只能基于bigint类型 dau = to_bitmap(device_id) 需要建立设备字典表，将字符串设备转化为字典id做去重处理 因为常用指标周期只涉及近30日，因此字典表只保留近30日设备 3、涉及设备uv生成近N日聚合明细 4、doris聚合模型代码 --建表语句 create table log_platform_channel_dau( ds date, platform varchar(655
剑指数据仓库-项目篇（五）
SparkOnYarn的博客
05-04 672
一、进行指标计算 2.1、案例：抽取数据过程中遇到的问题 2.2、如何在ADS层做指标计算 2.3、分组求TopN 2.4、Hive的行转列&&Dbeaver数据导出 三、部署Rundeck遇到的问题（Linux的OOM机制） 一、进行指标计算 使用SQOOP把Hive中ads_bill_sum_count这张表的数据导入到MySQL中dw数据库中的ads_bi...
剑指数据仓库-项目篇(一) - ERP系统各个模块介绍&&系统的核心-仓库
SparkOnYarn的博客
04-08 747
一、ERP系统安装部署 二、ERP系统各个模块介绍 2.1、系统管理 2.2、基础资料 2.3、商品管理 2.4、采购管理 2.5、销售管理 2.6、零售管理 三、ERP系统核心-仓库 一、ERP系统安装部署 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105368283 二、ERP系统各个模块介绍 2.1、系统管理 用户、角色、权限...
数仓数据分层(ODS DWD DWS ADS)
黑曼巴
07-15 3848
ODS DWD DWS DWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务. DWS建模,一般使用主题建模,维度建模等方式 主题建模,顾名思义,围绕某一个业务主体进行数据建模,将相关数据抽离提取出来. 如,将流量会话按照天,月进行聚合 将每日新用户进行聚合 将每日活跃用户进行聚合 维度建模,其实也差不多,不过是根据业务需要,提前将后续数据查询处理需要的维度数据抽离处理出来,方便后续查询使用. 如将运营位维度数据.
保险行业数据仓库DWS层开发项目经验
05-10
### 关于保险行业数据仓库DWS层开发的项目经验和最佳实践 #### 数据仓库DWS层概述 数据仓库中的DWS层（Data Warehouse Service Layer）通常是指经过清洗、转换后的数据存储层，它基于ODS层的数据进行进一步加工和汇总，形成面向业务主题的宽表结构。这一层的设计目标是减少冗余计算并提高查询效率，同时为后续的数据应用提供稳定的基础[^1]。 对于保险行业的数据仓库而言，DWS层的构建需要特别关注以下几个方面： --- #### 1. **数据建模** 在保险行业中，DWS层的核心在于设计合理的星型或雪花型模型，以便支持高效的OLAP分析。常见的业务主题可能包括客户管理、理赔流程、保费收入统计以及风险评估等。以下是具体建议： - 使用维度建模方法论来定义事实表和维度表的关系。 - 针对高频使用的指标预先聚合，例如按时间周期（日/月/年）、地区分布或者产品类别进行汇总。 - 考虑到保险业务的特点，在设计时需预留足够的扩展空间以适应未来新增需求[^3]。 ```sql -- 创建一个典型的DWS层宽表示例：按月份统计各地区的总保费金额 CREATE TABLE dws_premium_summary ( region_id INT COMMENT '区域ID', month STRING COMMENT '统计月份', total_premium DECIMAL(18,2) COMMENT '当期累计保费' ); ``` --- #### 2. **ETL过程优化** 为了提升性能并降低延迟，可以采用增量加载的方式更新DWS层数据。此外，利用现代技术栈如Spark Streaming或Flink能够实现实时ETL流水线，从而满足快速响应的要求[^2]。 - 定义清晰的数据血缘关系，便于追踪错误源头及维护版本控制。 - 对复杂SQL语句做适当拆解与索引调优，避免因单次执行耗时过长影响整体进度。 --- #### 3. **质量保障机制** 由于金融属性较强，保险业内的任何数据偏差都有可能导致严重后果。因此，在实施过程中应着重加强以下几方面的质量管理措施： - 制定详尽的数据校验规则集，覆盖字段完整性验证、数值合理性判断等多个层面； - 引入自动化测试框架定期运行回归测试脚本，确保每次变更不会破坏已有功能逻辑； - 构建异常监控报警体系，一旦发现潜在问题可及时介入解决。 --- #### 4. **安全性考量** 鉴于涉及大量敏感个人信息，必须严格遵循GDPR等相关法律法规的规定保护用户隐私权不受侵犯。通过加密传输通道、访问权限分级授权等方式增强防护力度的同时也要兼顾用户体验流畅度[^3]。 --- #### 工具选型推荐 针对大规模并发读写的场景可以选择像华为云GaussDB(DWS)[^2]这样的高性能MPP架构数据库作为底层引擎；而对于轻量级任务则考虑开源方案比如Presto/Hive组合亦能满足大部分日常运营报表制作所需。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值