有关数仓的一些思考

最新推荐文章于 2026-01-07 11:33:53 发布
原创 最新推荐文章于 2026-01-07 11:33:53 发布 · 286 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

现在企业中大多用的模型都是维度建模，维度建模示面向分析场景而生。

  1. 数仓模型的选择是灵活的，不局限于某一种模型方法
  2. 数仓模型的设计也是灵活的，以实际需求场景为导向
  3. 模型设计要兼顾灵活性、可扩展，而对终端用户透明性
  4. 模型设计要考虑技术可靠性和实现成本
实时数仓的思考
文报的博客
08-03 470
目前主流的数仓构建思想都是以维度建模为主，以下都是在工作中的一些思考和想法。 1.维表延迟问题 主流join动态无时序维表时如何解决因为维表延迟而导致的数据不准问题？ 目前来看好像只能通过批处理来修复流数据。如果通过批处理来修复那还能说是kappa架构？ 2.历史数据的处理以及新增需求后的刷数 这里说的历史数据处理和刷数的需求在kappa架构不是不能实现而且需要考虑到时间长度的问题。当数据量级上去后使用标准的流式架构处理大量的历史数据(ETL)是一个非常耗时的问题。有时一天都完成不了刷数任务而且由于是使
Flink 实时数仓-思考与总结
qq_31866793的博客
02-12 7714
1，什么是Flink实时数仓。 大家做离线开发是的时候数据存储在hdfs或者hive，基于此，不管用什么组件，数据源都是hive，然后定时执行脚本，跑离线任务啥的。 实时数仓大家可以理解为数据都存储在kafka，Flink消费kafka的数据然后进行逻辑处理，然后再下发到kafka，这么延迟是秒或者分钟级别的，对于不同的业务效果更好，更实时。 2，为什么要做实时数仓呢？ 我的理...
聊聊我对数仓建设的一些思考
进击吧大数据的博客
12-13 1280
数仓建设的一些思考
数仓相关思考5
weixin_42796403的博客
01-09 253
数仓相关思考5 1.什么样的表适合做成拉链表？ 缓慢变化的维度表, 需要记录表中每条数据的变化情况 2.累积型快照事实表如何分区？如何导入数据？ 按照事实发生的起始时间，进行分区！ 步骤： ①查询数据的哪些分区在更新时，会被影响 ②查询出受影响分区的数据 ③查询出要导入的新的数据 ④新老交替 ⑤覆盖导入表中 3.ods层的跨天支付问题总结 如果需要查询当天支付订单中的订单信息，只需要
关于数据仓库的一点思考
Monica114的博客
07-22 3274
之前在工作中参与了公司一个细分业务的宽表和数据仓库的建设，对数仓和宽表有了进一步的理解。其实，现在已经有很多不错的关于数据仓库的文章，这里我先贴两个写的不错的关于数仓的文章： 链接: [link(https://mp.weixin.qq.com/s/Sz9NNJPpzoh6L4ZSzOH7Gg). ...
开始数据仓库的工作
奔跑的狮子猫
04-06 648
今天，正式开始了数据仓库的开发工作。前期的调查和准备都已经进行了，这个月的计划，就是将已有的数据仓库的例证，进行Cognos的展示。 今天装了一个写博客的客户端软件，以后，每天都会将整个工程的进展，进行直播，保存在这里。 时间不早了，睡觉，希望一夜无梦。
数据仓库工作日记_记录(四)
大米的专栏
08-26 1168
前面介绍了需求分析前，物理情况的数据探查，本篇接着介绍关于逻辑探查的内容。 初探 一般数据仓库的数据都来源于业务系统，而业务系统的数据库设计都属于oltp范畴的，设计思路一般也都是遵循数据库教材里面的三范式设计。知己知彼，百战不殆，所以我建议可以不要先去讨论数据仓库的需求，以自己的理解先去窥探一下业务系统。 我一般会关注几个方面： 一、各系统结构（前面已经提过了） 二、主系统结构 ...
流批一体的近实时数仓的思考与设计.docx
03-06
### 流批一体的近实时数仓的思考与设计 #### 一、数据的时间旅行与业务对数据的要求 数据的时间旅行是指数据从产生到被利用的过程中经历的不同阶段，包括用户生成数据、数据传输、存储以及计算等多个环节。在这个...
数仓的哲与思：为什么有业务思考的同学会更能脱颖而出？.md
08-06
数仓的本质并非仅仅是存储数据，而是要存储与业务紧密相关的“业务故事”。每个业务流程都由多个步骤组成，涉及到数据的收集、存储、处理和分析。数仓应该能够通过数据将这些业务故事还原出来，使业务方能够根据数据...
精选资源
关于数仓里画像层的构建的一些思考
01-20
本文主要探讨了在构建高效数据集市时需要注意的一些关键点，旨在优化画像层的性能和维护性。 首先，减少中间表的数量是提升效率的关键。在重构过程中，发现过多的中间表会导致作业执行时间延长，同时浪费大量存储...
【数仓】数据仓库的思考（一）
lsr40的博客
04-17 2927
对于数仓的概念非常大非常广泛，而且也并没有绝对正确的架构，只是有一定的方法论，一定的前人总结留下来的理论，所以我也不知道我这个系列会更多久，会更多少，反正我就把我现在对于数仓的想法记录下来，以后如果有更深的理解，再说吧~ 1、什么是数据仓库 这个百度也能找到答案，但是我想说的是我的观点。数仓应该是一种数据整合，数据治理，将数据做成一种服务，对外提供。 什么叫数据整合，大家应该听过数据孤...
数据仓库工作总结(转自优快云的转载)
数据库天地
08-23 1145
1. 概述 本文作为我这些年实施数据仓库的总结，如有错误，请各位同仁指正。 文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。 文档原本想讨论的元数据管理、数据质量和监控工具的内容，由于时间关系，没有添加，以后有空补上吧。 1.1.阅读方法 本文阅读方式: 1...
大数据部门组织结构图
qq_37043563的博客
10-17 2380
#mermaid-svg-8PnW9Of7aJsf7Q87 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-8PnW9Of7aJsf7Q87 .label text{fill:#333}#mermaid-svg-8PnW9Of7aJsf7Q87 .node rect,#mermaid-svg-8PnW9Of7aJ
数据仓库工作总结
上海夜未眠
10-22 4647
1.   概述本文作为我这些年实施数据仓库的总结，如有错误，请各位同仁指正。文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。文档原本想讨论的元数据管理、数据质量和监控工具的内容，由于时间关系，没有添加，以后有空补上吧。1.1.阅读方法本文阅读方式:
数据仓库的基本架构
我的Oracle DBA之路
05-14 2259
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 　　从图中可以看出数据仓库的数据来源
数仓理论结合自己的工作和思考总结
shuimofengyang的博客
11-26 1801
搭建数据仓库可以从多个方面切入，我接触到的工作中处理实际工作案例大致分为2中模式。一种是在需求不明确的情况下从底层搭建开始，主要工作重心在于先收集数据，并对数据分类保存，等到具体需求到位的时候再搭建上层的数据仓库表（如用户一体化）。另外一种模式就是在确定需求场景下，根据需求内容向下拆解任务反推需要的数据源支持（如用户在线）。两种模式各有利弊，我的总结如下： 模式1：属于通用型强的广泛收集数据，...
数据仓库工具箱：缓慢渐变维度（SCD）
sunqingok的博客
01-07 322
缓慢渐变维度是指维度表中的属性值会随着时间的推移而发生缓慢、不可预测的变化。客户地址变更产品分类调整员工部门调动会员等级变化如何记录和反映这种变化，决定了SCD的类型选择。维度属性值从第一次设置后就不再改变。无论源系统如何变化，数据仓库始终保持其原始状态。用新的属性值直接覆盖旧值，不保留任何历史痕迹。历史事实会自动关联到新的属性值。当属性发生变化时，不更新原记录，而是插入一条新的维度行，并为该行分配新的代理键。这是记录完整历史最常用、最重要的技术。
基于YOLO的智能机器人视觉识别系统.zip
最新发布
01-07
基于YOLO的智能机器人视觉识别系统.zip
FlutterYOLO与MediaPipe视觉AI示例.zip
01-07
FlutterYOLO与MediaPipe视觉AI示例.zip
数仓架构
09-05
<think> 嗯，用户现在想了解数据仓库架构的相关信息。我先看看之前的对话历史。用户之前提到过几个引用，其中引用[1]强调不同企业需要不同的架构方案，不能照搬；引用[2]说明离线大数据架构基于经典数仓，使用大数据工具替代传统工具；引用[3]定义了数据仓库的核心概念；引用[4]详细描述了数据存储层的结构；引用[5]则具体讲了离线数仓的分层处理流程。 用户明确要求介绍数据仓库架构，可能需要一个系统性的概述。结合引用内容，经典三层架构（数据源层、存储层、应用层）应该是基础，这点在引用[4]里提到过存储层的结构。现代架构方面，引用[2]和[5]都提到了离线数仓的分层设计（比如ODS、DWD这些分层），Lambda架构和Kappa架构作为实时处理的方案也需要包含进去。 用户可能来自企业技术团队，或者正在做技术选型，深层需求可能是想了解如何选择适合自己业务的架构。因此除了基本结构，还需要对比不同架构的适用场景，比如离线处理选Lambda，实时性要求高的选Kappa，引用[1]提到的"业务需求不同"这点很重要。 回复结构上，先定义数据仓库（引用[3]的核心概念），再分经典架构和现代架构展开。现代架构部分要突出分层设计（引用[5]的ODS-DWD-DWS流程）和实时方案（引用[2]的离线/流处理结合）。最后给出架构选型建议呼应引用[1]的定制化观点。 需要补充的细节：存储层的星型/雪花模型（引用[4]）、ETL工具示例、实时架构中的技术组件如Flink/Kafka。避免太学术化，多用"业务分析""决策支持"这类应用场景词汇（引用[3]的决策支持目的）。 相关问题设计要引导用户深入场景思考，比如企业规模和数据量（引用[1]的关键点）、实时性需求（对比引用[2]的离线/流处理）、成本考量（呼应引用[5]的多工具协作成本）等。 </think> 基于企业数据量、业务需求和决策场景的差异，数据仓库架构呈现多种模式。以下是核心架构类型及特点详解： --- ### **一、经典三层架构**（引用[2][4]） 1. **数据源层** - 来源：业务数据库（MySQL/Oracle）、日志文件、API接口、第三方数据 - 关键操作：增量/全量数据采集（常用工具：Sqoop、Flume、Kafka） 2. **数据存储与处理层** - **ODS（操作数据存储层）**：原始数据镜像，保留历史细节 - **DWD（数据仓库明细层）**：清洗、标准化、维度关联（如用户画像补全） - **DWS（数据服务汇总层）**：按主题聚合（如日销售大宽表） - **ADS（应用数据层）**：面向报表/BI的高粒度结果集 *技术栈示例：HDFS（存储）+ Spark（处理） + Hive（建模）*（引用[5]） 3. **数据应用层** - 可视化工具：Superset、Tableau - 即席查询：Presto/Impala - 机器学习：Python模型对接结果集 --- ### **二、现代演化架构** #### **1. Lambda架构**（离线实时并行） | **路径** | **技术组件** | **延迟** | **适用场景** | |----------------|--------------------------|----------|----------------------| | 批处理层 | Hive + HDFS | 小时级 | 历史全量分析 | | 速度层 | Flink/Kafka | 秒级 | 实时监控、告警 | | 服务层 | Druid/ClickHouse | 亚秒级 | 交互式查询 | > *例：电商大促时，离线层计算全天销售额趋势，速度层实时预警库存异常*（引用[2]） #### **2. Kappa架构**（全流式处理） - **核心思想**：用统一流处理引擎（如Flink）替代离线计算 - **优势**：架构简化，避免批流代码逻辑冲突 - **局限**：需消息队列长期存储（成本高），重算历史数据效率低 #### **3. 数据集市架构**（引用[4]） ```mermaid graph LR A[企业级数仓] --> B1(销售数据集市) A --> B2(财务数据集市) A --> B3(供应链数据集市) ``` - **特点**：按部门构建轻量子仓库，降低跨部门数据耦合 - **适用**：大型集团企业（如保险公司的精算与理赔独立分析） --- ### **三、架构选型关键因素**（引用[1][3]） | **维度** | 中小企业推荐 | 大型企业推荐 | |----------------|-----------------------|-----------------------| | 数据规模 | < 10TB/年 | > 100TB/年 | | 实时性需求 | T+1报表（离线架构） | 分钟级监控（Lambda） | | 成本敏感度 | 云数仓（Snowflake） | 自建Hadoop生态 | | 团队技能 | SaaS工具（如QuickSight） | 开源组件深度定制 | > **决策要点**：避免照搬架构！需评估数据增长预期（3~5年）、实时分析占比（>70%则倾向Kappa）、运维复杂度容忍度（引用[1]）。 --- ### **四、典型技术栈对比** | **层级** | 传统架构 | 大数据架构 | |----------------|------------------------|------------------------| | 存储引擎 | Teradata/Oracle | HDFS/Iceberg | | 计算引擎 | ETL工具（Informatica） | Spark/Flink | | 调度系统 | Cron | DolphinScheduler/Airflow（引用[5]） | | 元数据管理 | 定制脚本 | Atlas/DataHub | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值