有关数仓的一些思考

最新推荐文章于 2026-01-05 18:46:56 发布
原创 最新推荐文章于 2026-01-05 18:46:56 发布 · 286 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

现在企业中大多用的模型都是维度建模，维度建模示面向分析场景而生。

  1. 数仓模型的选择是灵活的，不局限于某一种模型方法
  2. 数仓模型的设计也是灵活的，以实际需求场景为导向
  3. 模型设计要兼顾灵活性、可扩展，而对终端用户透明性
  4. 模型设计要考虑技术可靠性和实现成本
实时数仓的思考
文报的博客
08-03 470
目前主流的数仓构建思想都是以维度建模为主，以下都是在工作中的一些思考和想法。 1.维表延迟问题 主流join动态无时序维表时如何解决因为维表延迟而导致的数据不准问题？ 目前来看好像只能通过批处理来修复流数据。如果通过批处理来修复那还能说是kappa架构？ 2.历史数据的处理以及新增需求后的刷数 这里说的历史数据处理和刷数的需求在kappa架构不是不能实现而且需要考虑到时间长度的问题。当数据量级上去后使用标准的流式架构处理大量的历史数据(ETL)是一个非常耗时的问题。有时一天都完成不了刷数任务而且由于是使
Flink 实时数仓-思考与总结
qq_31866793的博客
02-12 7714
1，什么是Flink实时数仓。 大家做离线开发是的时候数据存储在hdfs或者hive，基于此，不管用什么组件，数据源都是hive，然后定时执行脚本，跑离线任务啥的。 实时数仓大家可以理解为数据都存储在kafka，Flink消费kafka的数据然后进行逻辑处理，然后再下发到kafka，这么延迟是秒或者分钟级别的，对于不同的业务效果更好，更实时。 2，为什么要做实时数仓呢？ 我的理...
聊聊我对数仓建设的一些思考
进击吧大数据的博客
12-13 1280
数仓建设的一些思考
数仓相关思考5
weixin_42796403的博客
01-09 253
数仓相关思考5 1.什么样的表适合做成拉链表？ 缓慢变化的维度表, 需要记录表中每条数据的变化情况 2.累积型快照事实表如何分区？如何导入数据？ 按照事实发生的起始时间，进行分区！ 步骤： ①查询数据的哪些分区在更新时，会被影响 ②查询出受影响分区的数据 ③查询出要导入的新的数据 ④新老交替 ⑤覆盖导入表中 3.ods层的跨天支付问题总结 如果需要查询当天支付订单中的订单信息，只需要
关于数据仓库的一点思考
Monica114的博客
07-22 3274
之前在工作中参与了公司一个细分业务的宽表和数据仓库的建设，对数仓和宽表有了进一步的理解。其实，现在已经有很多不错的关于数据仓库的文章，这里我先贴两个写的不错的关于数仓的文章： 链接: [link(https://mp.weixin.qq.com/s/Sz9NNJPpzoh6L4ZSzOH7Gg). ...
开始数据仓库的工作
奔跑的狮子猫
04-06 648
今天，正式开始了数据仓库的开发工作。前期的调查和准备都已经进行了，这个月的计划，就是将已有的数据仓库的例证，进行Cognos的展示。 今天装了一个写博客的客户端软件，以后，每天都会将整个工程的进展，进行直播，保存在这里。 时间不早了，睡觉，希望一夜无梦。
数据仓库工作日记_记录(四)
大米的专栏
08-26 1168
前面介绍了需求分析前，物理情况的数据探查，本篇接着介绍关于逻辑探查的内容。 初探 一般数据仓库的数据都来源于业务系统，而业务系统的数据库设计都属于oltp范畴的，设计思路一般也都是遵循数据库教材里面的三范式设计。知己知彼，百战不殆，所以我建议可以不要先去讨论数据仓库的需求，以自己的理解先去窥探一下业务系统。 我一般会关注几个方面： 一、各系统结构（前面已经提过了） 二、主系统结构 ...
流批一体的近实时数仓的思考与设计.docx
03-06
### 流批一体的近实时数仓的思考与设计 #### 一、数据的时间旅行与业务对数据的要求 数据的时间旅行是指数据从产生到被利用的过程中经历的不同阶段，包括用户生成数据、数据传输、存储以及计算等多个环节。在这个...
数仓的哲与思：为什么有业务思考的同学会更能脱颖而出？.md
08-06
数仓的本质并非仅仅是存储数据，而是要存储与业务紧密相关的“业务故事”。每个业务流程都由多个步骤组成，涉及到数据的收集、存储、处理和分析。数仓应该能够通过数据将这些业务故事还原出来，使业务方能够根据数据...
精选资源
关于数仓里画像层的构建的一些思考
01-20
本文主要探讨了在构建高效数据集市时需要注意的一些关键点，旨在优化画像层的性能和维护性。 首先，减少中间表的数量是提升效率的关键。在重构过程中，发现过多的中间表会导致作业执行时间延长，同时浪费大量存储...
数据仓库工作总结(转自优快云的转载)
数据库天地
08-23 1145
1. 概述 本文作为我这些年实施数据仓库的总结，如有错误，请各位同仁指正。 文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。 文档原本想讨论的元数据管理、数据质量和监控工具的内容，由于时间关系，没有添加，以后有空补上吧。 1.1.阅读方法 本文阅读方式: 1...
【数仓】数据仓库的思考（一）
lsr40的博客
04-17 2927
对于数仓的概念非常大非常广泛，而且也并没有绝对正确的架构，只是有一定的方法论，一定的前人总结留下来的理论，所以我也不知道我这个系列会更多久，会更多少，反正我就把我现在对于数仓的想法记录下来，以后如果有更深的理解，再说吧~ 1、什么是数据仓库 这个百度也能找到答案，但是我想说的是我的观点。数仓应该是一种数据整合，数据治理，将数据做成一种服务，对外提供。 什么叫数据整合，大家应该听过数据孤...
大数据部门组织结构图
qq_37043563的博客
10-17 2378
#mermaid-svg-8PnW9Of7aJsf7Q87 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-8PnW9Of7aJsf7Q87 .label text{fill:#333}#mermaid-svg-8PnW9Of7aJsf7Q87 .node rect,#mermaid-svg-8PnW9Of7aJ
数仓理论结合自己的工作和思考总结
shuimofengyang的博客
11-26 1800
搭建数据仓库可以从多个方面切入，我接触到的工作中处理实际工作案例大致分为2中模式。一种是在需求不明确的情况下从底层搭建开始，主要工作重心在于先收集数据，并对数据分类保存，等到具体需求到位的时候再搭建上层的数据仓库表（如用户一体化）。另外一种模式就是在确定需求场景下，根据需求内容向下拆解任务反推需要的数据源支持（如用户在线）。两种模式各有利弊，我的总结如下： 模式1：属于通用型强的广泛收集数据，...
数据仓库工作总结
上海夜未眠
10-22 4647
1.   概述本文作为我这些年实施数据仓库的总结，如有错误，请各位同仁指正。文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。文档原本想讨论的元数据管理、数据质量和监控工具的内容，由于时间关系，没有添加，以后有空补上吧。1.1.阅读方法本文阅读方式:
数据仓库的基本架构
我的Oracle DBA之路
05-14 2259
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 　　从图中可以看出数据仓库的数据来源
南京大学软件学院-2025-数据仓库与知识发现期末复习参考
最新发布
m0_62721576的博客
01-05 383
南京大学软件学院数据仓库与知识发现期末复习资料
解构“逻辑数据仓库 (LDW)”与数据虚拟化
ylguoguo6666的博客
01-01 729
本文探讨了传统ETL架构在数据激增时代面临的时效性、存储成本和管道脆弱性三大挑战，提出逻辑数据仓库（LDW）作为替代方案。LDW通过解耦物理存储与逻辑访问，采用数据虚拟化技术实现联邦查询与下推优化，在保持数据源端存储的同时提供统一访问层。相比ETL模式，LDW具有敏捷性高、数据一致性好和安全性强等优势，尤其适合实时查询和轻量级应用场景。但作者强调LDW并非完全取代物理数仓，未来企业应采用"物理+逻辑"的混合架构，根据场景灵活选择"先连接后搬运"的策略。
数据挖掘-数据仓库与关联规则
甄心爱学习的博客，记录学习与成长
01-01 917
数据仓库与关联规则挖掘
数仓架构
09-05
相关问题设计要引导用户深入场景思考，比如企业规模和数据量（引用[1]的关键点）、实时性需求（对比引用[2]的离线/流处理）、成本考量（呼应引用[5]的多工具协作成本）等。 基于企业数据量、业务需求和决策场景的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值