数仓理论入门级

最新推荐文章于 2024-07-06 02:09:50 发布
原创 最新推荐文章于 2024-07-06 02:09:50 发布 · 295 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

一、数据仓库

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。
数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
它是单个数据存储，出于分析性报告和决策支持目的而创建。
为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

一堆数据集合 log类型(insert) db关系型(insert update delete)
挖掘有效价值 report(静态报表 动态报表 运营)、实时大屏、对其他业务系统提供指标计算(智能分单 包装方案智能推荐)、钉钉应用(IDSS)
提供企业决策

以ERP为例

各仓库每小时订单量
各仓库每天订单量 (每小时汇总)
各仓库各个供应商每小时订单量
各仓库各个供应商每天订单量(每小时订单量)

底层存储只需要：各仓库各个供应商每小时订单量
B01 供应商1 2019-10-01 00 1000
B02 供应商2 2019-10-01 00 2000
B01 供应商1 2019-10-01 01 3000
B01 供应商1 2019-10-02 00 3000
一般存储 只存储最小粒度的多维汇总数据

上钻下钻
仓库每天的订单量
仓库每月的订单量
仓库的各个供应商的每月的订单量
会自动拼接 sql ==》group by

二、集市

数据集市(Data Mart) ，也叫数据市场，
数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，
包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。
从范围上来说，数据是从企业范围的数据库、数据仓库，
或者是更加专业的数据仓库中抽取出来的。
数据中心的重点就在于它迎合了专业用户群体的特殊需求，
在分析、内容、表现，以及易用方面。数据中心的用户希望数据是由他们熟悉的术语表现的。

是数仓的一个子集

数据仓库 数据集市
企业级别 部门级别
大量的全的数据 仅自己的数据

三.数仓分层

ODS(operation data store) 原始数据层 存放原始数据 不做任何的处理
DWD/DWI(data warehouse detail) 结构和粒度与ODS层是一致的，只做对ODS层数据进行清洗(脏数据 空值) 拉链表 脱敏 手机号 银行卡 密码(mysql加密)
DWS(data warehouse service) 以DWD层为基础 进行轻度汇总 宽表(join)
ADS/APP/domain域表(application data store) 按主题提供统计数据(group计算 少量可能做join计算取决于宽表没有你想要的字段)
上–》下游数据量

四、为什么要分层

复杂问题简单化: 将一个超级复杂的任务进行分解成多个步骤来完成，
每一层只处理单一的步骤，比较简单，方便定位问题

减少重复开发：规范好数仓的分层，通过中间层的数据，能够减少重复计算，增加一次计算的复用。

隔离原始数据: 数据的敏感，使得真实的数据 和统计的数据 分离

数据仓库的分层不是越多越好，
合理的层次设计，以及计算成本 和人力成本的平衡，
是一个好的数仓架构的表现。

五、主表明细表设计案例

订单全表

订单主表+明细表

订单主表+明细表+商品表 生产上 上游MySQL的设计

mysql: --> hive ods层+dwd层 --》hive dws层
orderinfo orderinfo order
orderitems orderitems

天下分分合合 合合分分

panxuej_shenx
关注
《Spark/Flink/Doris离线&实时数仓开发》目录
大模型大数据攻城狮的专栏
05-24 1737
欢迎加入《Spark/Flink/Doris离线&实时数仓开发》付费专栏！本专栏专为大数据工程师、数据分析师及准备大数据面试的求职者量身打造，聚焦Spark、Flink、Doris等核心技术，覆盖离线与实时数仓开发的全流程。无论你是想快速上手项目、提升技术能力，还是在面试中脱颖而出，这里都能为你提供。
深入理解数仓开发（一）数据技术篇之日志采集
功不唐捐，玉汝于成
05-20 1350
基于《阿里巴巴大数据之路》与《剑指大数据—企业级离线数据仓库项目实战》的学习笔记
数据仓库之数仓理论（1）
不言尘世
05-28 482
1 范式概念 1）定义 范式可以理解为设计一张数据表的表结构，符合的标准级别。 规范和要求 2）优点 关系型数据库设计时，遵照一定的规范要求，目的在于降低数据的冗余性。 为什么要降低数据冗余性？ （1）十几年前，磁盘很贵，为了减少磁盘存储。 （2）以前没有分布式系统，都是单机，只能增加磁盘，磁盘个数也是有限的 （3）一次修改，需要修改多个表，很难保证数据一致性 3）缺点 范式的缺点是获取数据时，需要通过 Join 拼接出最后的数据。 4）分类 目前业界范式有：第一范式(1NF)、第二范式(2NF)、第三范
50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 下
大数据星球-浪尖
02-26 1147
文档大纲：本文上半部分之前已经发过了，传送门：50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 上此篇文章是整个文档的下半部分，将接着上半部分从第五章开始。五、实时数仓建...
数据仓库和数据集市详解：ODS、DW、DWD、DWM、DWS、ADS
热门推荐
weixin_42526326的博客
11-30 1万+
@TOC 数据流向 应用示例 何为数仓DW Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。 数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。目前行业比较流行的有：AWS Redshift，Greenplum，Hive等。 数据仓库并不是数据的最终目的地
大数据离线阶段Day5之数据仓库
qq_39581763的博客
09-11 1136
1． 数据仓库的基本概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。 ...
数仓笔记 一
文报的博客
07-11 681
好久没写博客了，最近一直在忙数仓迁移的事，从SqlServer迁移到impala+kudu上，没使用hive。建立一套大数据的数仓，数据接入用的streamSets。 说实话之前好长一段时间都是在练手，不停的将原有SqlServer中的数据导入到kudu中。 1.其中有个缓慢变换维还挺有意思的。比如说以用户为栗。用户中有两个比较重要的属性，用户所在城市，用户类型。当着两个属性其中一个发生变化时...
数据仓库理论知识
默主归沙的博客
06-06 4030
通常数据仓库的数据来自各个业务应用系统。业务系统中的数据形式多种多样，可能是 Oracle、MySQL、SQL Server 等关系数据库里的结构化数据，可能是文本、CSV 等平面文件或 Word、Excel 文档中的数据，还可能是 HTML、XML 等自描 述的半结构化数据。这些业务数据经过一系列的数据抽取、转换、清洗，最终以一种统一的格式装载进数据仓库。数据仓库里的数据作为分析用的数据源，提供给后面的即席查询、 分析系统、数据集市、报表系统、数据挖掘系统等。这时我们就想了，为什么不能把业务系统的数据直接
【PdMan使用入门】：数仓建模工具的初学者指南
[【PdMan使用入门】：数仓建模工具的初学者指南](https://cms.boardmix.com/images/es/articles/knowledge/diagrama-entidad-relacion.png) # 摘要 本文详细介绍了PdMan工具的功能与操作，以及在数据仓库建模中的...
Apache Flink 1.8入门指南：实时数仓项目概述
# 1. 简介 ## 1.1 Apache Flink...实时数仓项目应运而生，旨在构建一个能够实时接收、处理和分析海量数据的平台，为企业提供实时的业务洞察和决策支持。 ## 1.3 文章概述 本文将首先介绍Apache Flink的特点和优势
数据仓库
duke的博客
10-24 479
最近可能要转岗数据开发了，先占个坑，熟悉后回来填上。
【数仓】数据仓库的思考（一）
qq_41676216的博客
08-01 445
前言： 对于数仓的概念非常大非常广泛，而且也并没有绝对正确的架构，只是有一定的方法论，一定的前人总结留下来的理论，所以我也不知道我这个系列会更多久，会更多少，反正我就把我现在对于数仓的想法记录下来，以后如果有更深的理解，再说吧~ 1、什么是数据仓库 这个百度也能找到答案，但是我想说的是我的观点。数仓应该是一种数据整合，数据治理，将数据做成一种服务，对外提供。 什么叫数据整合，大家应该听过数据孤岛/烟囱这个概念，大概意思就是说：一家公司，数据开发各做各的，数据相互之间不能打通，数据情况掌握在不同.
[数仓]一、离线数仓（日志数据采集）
weixin_44428807的博客
07-06 1995
G:\Bigdata\Projects\电商数仓4.0数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。
数仓特性、数仓分层、OLAP、OLTP、数据集市 名词概念
互联网小白兔专业CRUD 选手
07-12 998
此层存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到数仓的职责，和数据源系统进行解耦合，同时记录基础数据的历史变化。根据源业务系统表的情况以增量或全量方式抽取数据；ODS层以流水表和快照表为主，按日期对数据进行分区保存，不使用拉链表；ODS层的数据不做清洗和转换，数据的表结构和数据粒度与原业务系统保持一致。
数仓基本概念：数据集市及分层
c05180的博客
09-02 2127
*问：**还是不太明白 ods 和 dwd 层的区别，有了 ods 层后感觉 dwd 没有什么用了。**答：**嗯，我是这样理解的，站在一个理想的角度来讲，如果 ods 层的数据就非常规整，基本能满足我们绝大部分的需求，这当然是好的，这时候 dwd 层其实也没太大必要。但是现实中接触的情况是 ods 层的数据很难保证质量，毕竟数据的来源多种多样，推送方也会有自己的推送逻辑，在这种情况下，我们就需要通过额外的一层 dwd 来屏蔽一些底层的差异。
AIGC ChatGPT 4 带你了解数据仓库、数据集市、数据湖、数据中台之间的关系
sunzhuan158的博客
02-23 1491
随着云计算、大数据和人工智能等技术的发展，数据仓库、数据集市、数据湖、数据中台的边界也逐渐模糊，越来越多的企业开始探索将它们融合起来构建更灵活、更适应变化的数据管理架构。数据中台，也称为数据平台或数据服务平台，是一种数据管理策略，它将企业内的分散的数据资源进行集中管理和服务，为企业决策、运营、产品和服务等提供数据支持。提高数据利用效率：数据中台通过将分散的数据资源进行集中管理，使得企业内各部门可以方便地获取和使用数据，大大提高了数据的利用效率。这使得数据湖可以容纳非常大量的数据。
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
jane9872的博客
06-13 3079
答：嗯，我是这样理解的，站在一个理想的角度来讲，如果 ods 层的数据就非常规整，基本能满足我们绝大部分的需求，这当然是好的，这时候 dwd 层其实也没太大必要。数据集市（Data Mart），也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。该层是在DWD层的数据基础上，对数据做一些轻微的聚合操作，生成一些列的中间结果表，提升公共指标的复用性，减少重复加工的工作。
4 万字全面掌握数据库、数据仓库、数据集市、数据湖、数据中台
qq_43218591的博客
04-05 2764
本文对商业智能(BI)、数据仓库、数据湖、数据中台等名词术语及内涵进行系统的解析，便于读者对数据平台相关的概念有全面的认识。
推荐一个基础数仓开发的项目
最新发布
10-18
<think>首先，用户的问题是关于“基础数仓开发项目推荐”，参考了之前的对话。在之前的对话中，我解释了在数据仓库项目中是否需要Java，结论是对于基础数仓开发，如FDM层建设，不需要Java，重点在SQL和业务理解。 用户提供的引用包括： - 引用[1]：关于数据仓库开发过程，包括建立数据模型、定义记录系统、设计主题领域、接口设计等。 - 引用[2]：一个SQL示例，用于商品品牌分组topN需求，展示了插入数据和排序。 用户的上一个问题也是关于基础数仓开发项目的推荐，所以我需要基于此推荐一个基础项目。 系统指令要求： - 所有行内数学表达式用$...$。 - 独立公式用$$...$$并单独成段。 - 正确使用LaTeX语法。 - 用中文回答。 - 生成相关问题。 - 在引用的段落末尾自然添加引用标识，如[^1]。 - 回答结构清晰，逐步解决问题，真实可靠。 我的回答结构应该清晰。回顾之前的回复，我有标题、分析点、表格、建议等。现在用户要的是项目推荐，所以我应该推荐一个具体的基础数仓开发项目。 内容基于引用： - 引用[1]提到数据仓库开发的关键步骤：建立数据模型、定义记录系统、主题领域组织、设计接口、载入主题领域。 - 引用[2]是一个SQL示例，用于topN查询。 - 之前的回答中提到FDM层（主题模型层）建设是最核心的，不需要Java。 所以，推荐的项目应该聚焦于基础数仓开发，如创建一个主题领域的数据模型，实现ETL过程使用SQL。 项目推荐思路： - 目标：让用户实践基础数据仓库开发。 - 项目主题：选择一个常见主题，如销售分析、用户行为分析等。 - 步骤：基于引用[1]，涵盖建模、ETL设计、SQL实现。 - 工具：使用SQL为主，例如在MySQL、PostgreSQL或云数据库如BigQuery上实施。 - 示例：类似引用[2]的topN查询，但扩展到整个ETL流程。 项目推荐框架： 1. **项目概述**：描述项目的目的和主题。 2. **关键步骤**：基于数据仓库开发过程，分解步骤。 - 步骤1: 理解业务需求（如分析销售数据）。 - 步骤2: 设计数据模型（如星型模式或雪花模式）。 - 步骤3: 定义ETL过程（使用SQL实现数据抽取、转换、加载）。 - 步骤4: 开发和测试（包括编写SQL查询）。 - 步骤5: 部署和反馈。 3. **技术栈**：推荐SQL作为核心，Python用于脚本（如调度），不涉及Java。 4. **示例任务**：提供一个类似引用[2]的具体SQL任务作为项目的一部分。 5. **学习资源**：建议免费工具如MySQL、dbt（SQL-based ETL工具）。 确保引用：在描述步骤时，自然引用引用[1]，因为它描述了开发过程。 生成相关问题：在结束时，添加相关问题部分。 结构： - 标题："基础数仓开发项目推荐" - 正文：清晰步骤。 - 代码块：如提供一个SQL示例。 - 相关问题列表。 LaTeX使用：如果有数学表达，比如在优化中，但在这个主题可能不多。如果有，确保格式正确。例如，在描述数据模型中的关系时，可能用$table_{name}$，但避免不必要的复杂。 最终输出： - 用中文。 - 结尾有相关问题。 </think>### 基础数仓开发项目推荐 基于您之前的查询和引用内容，我为您推荐一个**基础数据仓库开发项目**，聚焦于核心主题领域（如FDM层建设），该项目无需Java，主要依赖SQL和业务建模能力。推荐项目基于数据仓库标准开发过程[^1]，包括模型设计、ETL开发、主题领域实现等，确保真实可行且适合初学者入门。项目选择**销售分析主题**（常见于电商或零售），因为它易于理解且能覆盖关键技能点。 #### 项目名称：电商销售主题数据仓库建设 **项目目标**：构建一个简单数据仓库，分析商品销售数据，实现主题模型整合（如商品品牌topN排行）。通过此项目，您将掌握数据建模、SQL ETL开发和需求实现。 **技术栈**： - 数据库：MySQL（免费开源）或BigQuery（云平台免费层） - ETL工具：SQL为主（替代Java）；可选Python脚本（用于调度） - 建模工具：Lucidchart（免费在线工具）设计模型 **预计时长**：1-2周（适合自学或小团队实践） #### 关键开发步骤（基于数据仓库开发过程[^1]） 本项目严格遵循引用[1]中描述的流程：建立数据模型→定义记录系统→设计主题领域→接口设计→载入主题领域→反馈循环。以下是详细步骤和实操指南： 1. **建立数据模型（主题领域设计）** - **业务需求**：分析商品销售数据，实现“品牌分组销量topN”（类似引用[2]）。 - **模型设计**：采用**星型模型**（基础数仓常见）。 - 事实表：`fact_sales`（包含销售事件，如`sale_id`, `sku_id`, `sale_date`, `quantity`, `amount`） - 维度表： - `dim_sku`（商品维度，如`sku_id`, `sku_name`, `brand_id`） - `dim_brand`（品牌维度，如`brand_id`, `brand_name`） - `dim_date`（时间维度，如`date_id`, `year`, `month`） - 模型可视化：使用Lucidchart绘制ER图（参考FDM层主题划分原则[^1]）。 - **输出**：SQL DDL语句创建表结构。 ```sql -- 创建维度表 dim_brand CREATE TABLE dim_brand ( brand_id INT PRIMARY KEY, brand_name VARCHAR(50) ); -- 创建事实表 fact_sales CREATE TABLE fact_sales ( sale_id INT PRIMARY KEY, sku_id INT, brand_id INT, sale_date DATE, quantity INT, amount DECIMAL(10,2), FOREIGN KEY (sku_id) REFERENCES dim_sku(sku_id), FOREIGN KEY (brand_id) REFERENCES dim_brand(brand_id) ); ``` 2. **定义记录系统与ETL接口设计** - **记录系统**：假设源数据来自操作型数据库（如MySQL的`orders`表），需定义接口抽取数据。 - **ETL过程**（SQL为主，无需Java）： - **抽取（Extract）**：从源表读取数据（例如每日增量）。 - **转换（Transform）**：清洗、聚合（如计算销售额）。 - **加载（Load）**：写入数据仓库表；使用SQL实现全流程[^1]。 - **示例SQL接口**（每日增量加载）： ```sql -- 抽取与转换：从源表 orders 到临时表 INSERT INTO temp_sales (sale_id, sku_id, sale_date, quantity, amount) SELECT order_id, product_id, order_date, quantity, price * quantity FROM orders WHERE order_date = CURDATE(); -- 加载：将临时表数据插入事实表 INSERT INTO fact_sales (sale_id, sku_id, brand_id, sale_date, quantity, amount) SELECT ts.sale_id, ts.sku_id, ds.brand_id, ts.sale_date, ts.quantity, ts.amount FROM temp_sales ts JOIN dim_sku ds ON ts.sku_id = ds.sku_id; ``` 3. **实现主题领域与核心需求（载入与反馈）** - **主题领域**：专注“商品销售分析”，载入首个主题（引用[1]强调的迭代过程）。 - **需求实现**：商品品牌分组topN（参考引用[2]）。 - **SQL查询示例**（类似引用[2]的ads层实现）： ```sql -- 每个品牌下销量top10的sku（基于事实表聚合） INSERT INTO ads_brand_sale_topN (dt, brand_id, sku_id, total_sales) SELECT '2023-10-01' AS dt, -- 替换为实际日期 ds.brand_id, fs.sku_id, SUM(fs.quantity) AS total_sales FROM fact_sales fs JOIN dim_sku ds ON fs.sku_id = ds.sku_id WHERE fs.sale_date = '2023-10-01' -- 过滤特定日期 GROUP BY ds.brand_id, fs.sku_id ORDER BY total_sales DESC LIMIT 10; -- 每个品牌取top10 ``` - **优化**：添加分区索引提升性能（例如在`sale_date`上创建索引）。 - **反馈循环**：运行查询后，验证数据准确性（如对比源系统），调整模型或ETL逻辑[^1]。 4. **项目扩展与工具建议** - **调度**：用Python脚本（Airflow）定时运行ETL，无需Java。 - **测试数据**：使用Mock数据生成工具（如Python Faker库）。 - **免费资源**： - 数据库：MySQL Community Edition - ETL：dbt（SQL-based工具，支持版本控制） - 云平台：Google BigQuery免费层（处理TB级数据） - **成功关键**：关注业务理解（如品牌分析需求）和SQL优化，而非编程语言。 #### 项目收益 - **技能提升**：掌握数据建模、SQL ETL开发，覆盖80%基础数仓任务（无需Java）。 - **真实案例借鉴**：基于电商销售主题，可直接应用于中小企业场景[^1][^2]。 - **风险评估**：若源数据质量低，需增强清洗逻辑（使用SQL CASE语句处理缺失值）。 > 📌 **总结**：此项目完全**依靠SQL和建模理论**，贴合基础数仓开发（FDM层主题建设）[^1]。通过实践，您将理解引用[2]中的topN需求如何融入完整ETL流程。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值