数仓各层作用

已于 2025-03-01 16:16:23 修改
阅读量306 收藏
点赞数
分类专栏： XM2-离线数仓-金融零售 文章标签： 大数据
于 2024-07-02 09:17:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45972323/article/details/140117263
版权

ods层Operational Data Store 操作数据存储层

ods同步原始数据，保证数据的完整性

dwd层Data Warehouse Detail 数据仓库明细层

dwd在事实表上划分数据，保证按照业务划分数据，后续的分析好按照这个业务流程链进行

dwm层Data Warehouse Middle 数据仓库中间层

dwm在每个业务线的基础上进行维度退化，保证数据是最细粒度的，方便后面按需求聚合避免维度冗余

dws层Data Warehouse Summary 数据仓库汇总层

dws根据需求将细粒度的数据，按照业务过程＋度量值＋聚合逻辑，分析数据存储复用指标

app层Application 应用层

app根据看板算法的需求，将各个指标整合成大小宽表。

数仓分层
weixin_42913329的博客
10-23 2017
数仓分层 一.分层的作用 二、ODS (opreational data store) 三、DWD(data warehouse detail)** 1.概览 2.步骤 4.具体需要做的事情 5.举例 四、DIM 1.概念 2.举例 五、DWS(data warehouse service) 1.概念 2.举例 六、DM(data market) 1.概念 2.举例 七、APP/ADS 1.概念 2.举例 一.分层的作用 数仓分层的目的是：逐层解耦，减少重复计算，降低烟囱式开发。 越到底层，越接近业务发生的
数仓实践：一文读懂数仓 ODS 层模型设计
云祁QI
07-28 1188
具体使用的方式可用全外连接（full outer join） + 数据全量覆盖重新加载（insert overwrite）的方式，即如日调度，则将当天增量数据和前一天全量数据做全外连接，重新加载为最新的全量数据。具体使用的方式可用主键去重（row_number）+ 数据全量覆盖重新加载（insert overwrite）的方式，即如日调度，则将当天增量数据和前一天全量数据合并后根据主键去重，重新加载为最新的全量数据。其中：OLD 表存储最近 N 天之前的数据，这部分数据不再使用 delta 增量数据更新。
数仓每层表的作用
超的专栏
04-23 367
数仓分层
数仓基本架构--分层 各层功能
m0_61059815的博客
07-16 3834
数据仓库架构图在分层和命名大同小异。
数据仓库是什么？ 一文带你看清它的架构
最新发布
oOBubbleX的博客
04-19 1567
数据仓库如同企业的“智能图书馆”，专为存储和管理历史业务数据而生。它将分散在各系统的杂乱数据（如销售记录、客户信息）统一清洗、整理，转化为有序资源，就像图书馆把各类书籍分类上架。其架构分为五层：原始数据层（ODS）接收“原材料”，明细层（DWD）进行清洗加工，汇总层（DWS）存储结构化数据，数据集市（DM）定制部门专属视图，最终应用层（ADS）直接输出报表与可视化图表。
数仓分层的介绍
lijian972的博客
03-28 1816
数仓分层的作用
数仓建模分层详解
weixin_44087585的博客
04-07 3396
数仓各层详解 文章目录数仓各层详解前言一、数据引入层（ODS）二、明细粒度事实层DWD明细粒度事实表设计原则明细粒度事实表整体设计流程明细粒度事实层（DWD）规范公共汇总粒度事实层（DWS）公共汇总事实表设计原则进行DWS层设计时还需遵循以下原则：公共汇总事实表规范公共维度汇总层（DIM）定以维度 前言 了解数仓各层有什么功能，是面试中考察的重点，其实这本来也是每个做数仓的都必须清楚的事情。 得了解各层是如何划分的，或者说各层是依据什么来划分的 一、数据引入层（ODS） ODS（Operational D
数据仓库为什么要分层，各层的作用是什么
数据矿工-数据化运营博客
08-18 5067
3）统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径；业务层DWS（Data WareHouse Service）：存储宽表数据，此层数据是针对某个业务领域的聚合数据，业务层的数据通常来源与此层，为什么叫宽表，主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。中间层DWM（Data WareHouse Middle）：存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。...
数仓分层及各层作用
03-26
最后，生成相关问题，需要围绕数据仓库分层、各层作用、建模方法、ETL优化等。例如，STG层的作用，维度建模的优势，ETL设计中的优化方法。 现在需要组织这些信息，确保结构清晰，分点说明各层，然后讨论建模和ETL，...
浅谈数仓分层
小飞鸟
03-20 773
为什么分层 数仓分层目的是使用空间换时间，通过大量预处理，提升用户数据加工效率等，故而存在大量数据冗余。如果不分层，源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。 ODS层：原始数据层，主要存放原始数据， DWD层：主要是对ODS层数据进行数据清洗（去空值，脏数据），维度退化。 DWS层：以DWD为基础，按每天进行轻度汇总 DWT层：以DWS为基础，按主题进行汇总 ADS层：以各种统计报表提供数据 分层好处 1）把复杂的问题简单化：将复杂的任务分解成多层来完成，每一层只
离线数仓分层理论知识
时光带不走,年少轻狂
10-15 755
离线数仓
proteinnet：用于蛋白质结构机器学习的标准化数据集
02-04
蛋白质网 ProteinNet是用于机器学习蛋白质结构的标准化数据集。 它提供蛋白质序列，结构（和），多个序列比对（ ），位置特定的评分矩阵（ ），以及标准化的拆分。 ProteinNet建立在两年期评估的基础上，该评估对最近解决但尚未公开获得的蛋白质结构进行盲目预测，以提供推动计算方法学前沿的测试集。 它被组织为一系列数据集，涵盖了CASP 7至12（涵盖十年），以提供一系列数据集大小，从而可以在相对数据贫乏和数据丰富的体制中评估新方法。 请注意，这是一个初步版本。 用于构建数据集的原始数据以及MSA尚未普遍可用。 但是，可应要求提供ProteinNet 12的原始MSA数据（4TB）
数据仓库分层架构与各自定义和用途
weixin_56468833的博客
11-03 304
它可以提供实时和定期的报表、仪表盘、警报和预警功能，以帮助管理层和业务用户做出准确和及时的决策，在ADS层，可以进行数据治理和元数据管理工作。3.存储层(Data Warehouse Service Layer):简称DWS,数据的访问和查询，通过各种方式（SQL查询）从数据库中查询数据，数据安全和权限控制，包括用户身份验证，数据加密，访问控制，将数据汇总到不同粒度，以满足特定的业务需求，优化数据仓库的性能，通过索引优化，查询优化，缓存机制等手段来提高查询效率和访问时间。
数据仓库分层解析(详细)
super_mochi1
01-08 9607
数据仓库分层是一种组织和管理数据仓库的结构化方法，它将数据仓库划分为不同的层次或级别，每个层次具有特定的功能和目的。这种分层方法有助于管理数据仓库中的数据流程、数据处理和数据访问，并提供一种清晰的结构来支持数据管理和分析需求
处理SQL中的第N高的成绩类似问题
weixin_43878062的博客
10-19 570
利用SQL语句中的limit和offset limit语法 limit n 分句表示：读取n条数据 limit n,m分句表示：跳过n条数据，读取m条数据 limit n offset m 分句表示：跳过m条数据，读取m条数据 使用 题目 解决方法 --创建函数 N：第N高的成绩 CREATE FUNCTION getNthHighestSalary(N INT) RETURNS INT BEGIN --提前第N前的数据 set n=N-1; RETURN ( # Write you
数据仓库分层（五层，从上到下数据量依次越来越少）
想练武，就得下功夫
06-14 3070
文章目录ODS（Operation Data Store）原始数据层DWD（date warehouse detail）明细数据层DWS（data warehouse service）服务数据层DWT（date warehouse Topic）服务主题层ADS（Application Data Store）数据应用层 数仓分层 数据仓库分层（五层，从上到下数据量依次越来越少） ODS（Operation Data Store）原始数据层 原始数据层：存放原始数据，直接加载原始日志、数据，数据保持原貌不做处
《数据仓库》一文读懂数据仓库建设
热门推荐
https://blog.datasource.space
04-15 1万+
数据仓库建设 一、数据仓库概念 1.数仓架构 ​ 我们在谈到数据仓库，都会提到数仓架构，那么数仓架构到底是什么呢？首先，架构就是把一个整体工作按需切分成不同部分的内容，由不同角色来完成这些分工，并通过建立不同部分相互沟通的机制，使得这些部分能够有机的结合为一个整体，并完成这个整体所需要的所有活动。而数仓架构就可以理解为是构成数据仓库的组件以及之间的具有交互机制的关系。 ​ 如上图所示，数仓的数据源可能来自业务系统的数据，或者外部获取的数据，或者从线下文件导入的数据。通过抽取工作，将这些数据存储到数仓的原始
数仓分层各层详解
weixin_67527764的博客
08-22 858
原始数据层的目的是保留数据的完整性和可追溯性，以备后续的数据处理和分析。报告和可视化层（Reporting and Visualization Layer）：报告和可视化层用于生成各种报告、仪表盘和可视化图表，以便用户能够直观地理解和分析数据。集成层（Integration Layer）：集成层是将来自不同数据源的数据进行整合和集成的层级。每个层级都有其独特的功能和价值，通过将数据仓库按照不同的层级进行组织和管理，可以更好地支持不同层次和角色的用户需求，提供高效、准确和可靠的数据分析和决策支持。
数据仓库为什么要分层建设？每一层的作用是什么？
数据矿工-数据化运营博客
03-14 901
综上所述，数据仓库的分层建设不仅提高了数据处理和分析的效率，降低了数据冗余和复杂性，还满足了不同业务部门的个性化需求。这一层的作用是将复杂的数据处理和分析过程封装成简单的服务接口，降低用户的使用门槛，提高数据的使用效率。通过分层建设，可以将这些数据按照不同的逻辑和业务需求进行组织和管理，减少数据冗余和复杂性，提高数据的可维护性和可理解性。这一层的作用是确保数据的安全性和稳定性，为数据的查询和分析提供高效的数据访问服务。分层建设可以根据不同的需求，为不同的用户提供不同的数据视图和报表，满足个性化的业务需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值