数仓知识04_为什么要ODS和数仓分离

最新推荐文章于 2025-07-03 15:41:16 发布
最新推荐文章于 2025-07-03 15:41:16 发布
阅读量860 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数仓设计与开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZZQHELLO2018/article/details/99736221
为了提高数据库系统性能，ODS（Operational Data Store）与数据仓库分离至关重要。数仓适合复杂查询，采用多维视图组织存储，而操作数据库侧重事务并发处理。此外，两者数据结构、内容及使用场景存在显著差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

a提高两个数据库系统的性能
数据仓库查询复杂需要特殊的多维视图的数据组织、存储方法；在操作数据库中操作OLAP会降低性能
b.操作数据库支持多事务并发而OLAP查询只需要汇总和聚集数据，对数据只读访问
c.数仓和操作数据库两种系统中的数据结构、内容、用法不同

数据仓库为什么要有ODS层？by 彭文华
weixin_52346300的博客
03-05 1186
这是彭文华的第177篇原创今天很开心，又收获了一个新的好问题。北京的一个开发同学Lucas，被领导拖过去做数仓了。他把我写的数仓文章都读了一遍之后，他觉得ODS层根本没啥用啊，压根不能理解...
从阿里核心场景看实时数仓的发展趋势
aliyunhologres的博客
01-11 1248
作者：果贝，阿里云资深技术专家 ，实时数仓Hologres负责人 ​ 2022年1月7日，阿里云实时数仓Hologres举行了年度发布会，在发布会上，来自阿里的资深技术专家从阿里的核心场景出发，为大家解读了实时数仓的新发展趋势“在线化、敏捷化、一站式”。通过本文，我们将会深入解读实时数仓发展所面临的问题，以及核心发展趋势，以帮助大家更好的做产品选型和数仓规划。 ​ 实时数仓是现在大数据领域非常热门的一个概念（和它同热度的大概就是湖仓一体了）。经过十多年的发展，大数据已经成为每家公司的标配。传统上，离线数仓（
数据仓库为什么要分层？如果不分层可以吗？
data_curd的博客
06-01 790
数据仓库为什么要执行分层 1 清洗数据结构， 2 数据血缘追踪， 3 减少重复开发 4 任务分解，复杂拆分成多个小步骤来实现 5 屏蔽原始数据的异常，避免造成数仓跟着大动作的修改 如果不分层可以吗？ 不分层在技术实现以及理论上是可行， 但是会有很多弊端， 比如工作的重复， 一个指标可能从数据清洗到最终数据导出会在一条sql中完成， 或者自己实现分阶段落地，但是每个指标可能阶段不同导致后期维护难度增大。 所以实际中企业都遵守约定俗成的分层规则。 ...
ODS 是什么？一文搞懂 ODS 与数据仓库区别
最新发布
Leo的博客
07-03 1046
ODS（操作型数据存储）和数据仓库是企业数据管理的两大核心组件。ODS专注于实时整合业务系统数据，提供最新业务视图，支持日常运营决策；数据仓库则存储历史数据，用于战略分析和趋势预测。两者在数据时效性（实时vs历史）、用途（运营支持vs战略分析）、处理方式（快速集成vs深度加工）和存储结构（简单高效vs复杂优化）上存在显著差异。尽管功能不同，它们通过数据流向和功能互补共同构成完整的数据决策体系。企业应根据业务需求（实时监控或长期规划）和数据特点（高频变化或海量历史）选择适合的方案，通常两者配合使用效果更佳
为什么要对数据仓库分层
想练武，就得下功夫
08-12 279
用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会 存在大 量冗余的数据。如果不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程， 工作量巨大。 通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于 把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相 对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们 只需要局部调整某个步骤即可 ...
数仓以及数仓分层
cyg521的博客
03-29 1257
1、数仓概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 2、数仓为何要分层 合理的数据仓库分层一方面能够降低耦合性，提高重用性，可读性可维护性，另一方面也能提高运算的效率，影响到数据需求迭代的速度，近而影响到产品决策的及时性。 建立数据分层可以提炼公共层，避免烟囱
数仓设计中的存算分离
2301_77818583的博客
09-17 335
0.灵魂拷问数仓同学每天都在做表，但有没有想过一个问题，计算过程往往是不能节省的，但你是因为什么把某个计算结果落一张表，而某些计算结果不落表呢（只是中间过程），是因为“感觉应该落一张吗？1.云计算中的存算分离存算分离这个概念一开始是出自大数据和云计算，随着云原生的发展被提及的原来越多。早期在大数据和云计算环境中，存储服务和计算服务在集群中是混合部署的（存算耦合架构）。这样设计的原因也很简单，计算存储放一块可以避免很大的网络IO开销。
实时数仓在滴滴的实践和落地
DiDi_Tech的博客
08-26 5367
桔妹导读：随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台...
为什么要做数仓分层，不做行吗？
数据一哥，公众号：数据社
02-20 7314
来源：数据社 作者：数据一哥 编辑：数据一哥全文共1404个字，建议阅读4分钟大家好，我是一哥。今天跟大家聊一聊数仓为什么分层？01经典的数仓分层首先跟大家聊一个经典的数仓分层结构，主要包...
谈谈为什么要拆分数据库？有哪些方法？
Java面试精选的博客
06-22 348
1. 为什么要拆分数据库？ 单体项目在构建之初，数据库的负载和数据量都不大，所以不需要对数据库做拆分，小型财务系统、文书系统、ERP系统、OA系统，用一个MySQL数据库实例基本就够用了。 就像《淘宝技术这十年》里面说到的，电商业务的数据量增长飞快，所以最开始的PHP+MySQL的架构已经不能满足实际要求了，于是淘宝想到的第一个办法就是把MySQL替换成Oracle。但是没过了多久，在08年前后，单节点的Oracle数据库也不好用了，于是淘宝终于告别了单节点数据库，开始拆分数据库。从一个节点，变成多个节
数据隔离与数仓分层
点点的博客
03-17 2089
一、数据隔离 二、数据隔离方法 三、数仓分层 四、数仓优缺点 五、数仓怎么优化分层
干货：关于云原生数仓存算分离的15个问答
m0_54979897的博客
07-22 495
“存算分离”不仅能节约成本，还可以让资源根据业务需求弹性伸缩。HashData为了追求极致的弹性和扩展性，计算集群和持久化存储严格实行物理分离：计算集群由类似AWS EC2的虚拟机组成，持久化存储则使用对象存储。...
ADS-B数据站系统
qq_17741681的博客
09-12 2269
ADS-B数据站系统 --南京牧星人航空科技 适用场景 通过接收各地面站设备汇总过来的目标数据，并进行相应的处理、存储与融合，最终将解析的目标数据按某一固定格式推送至显示终端。 数据通信 支持TCP/IP协议 系统时间性能 系统平均无故障时间（MTBF）应大于10000h，平均故障修复时间（MTTR）应小于0.5h。 监视数据处理功能 a)数据站系统能够接收、处理符合ASTERIX CAT021格式的ADS-B数据。b)数据站系统能够对AD
数据仓库为什么要分层？
weixin_40670099的博客
03-19 342
把复杂的数据治理过程分解成多层来处理，每层只需处理简单的任务，方便问题的排查。规范数据分层，通过主题层数据，能极大减少重复研发，提升一次计算结果的复用性。真实数据和统计数据分离开。1、把复杂问题简单化。
离线数仓（六）【ODS 层开发】
功不唐捐，玉汝于成
03-10 1669
ODS层开发
数仓高频面试 | 数仓为什么要分层
weixin_43958974的博客
12-13 1159
大家好，我是大D呀。关于数仓分层，在面试过程中几乎是必问的。不过，面试官一般也不会直接考你数仓为什么要分层，而是在你介绍项目时，可能会换一种形式来穿插着问，比如数据链路为什么要这样设计，这些指标为什么不能在一张表里开发。那么，这个时候你就要结合着自己实际项目，聊一下数仓分层的理论了。为了让回答显得更体系化，可以把数仓分层的原因、有哪些好处以及是如何进行划分的都讲一讲。反正你不讲，他也不知道你会。
数仓1.2 |分层| ODS& DWD& DWS& ADS| 行为数仓
mojolang
01-28 1112
数仓分层 ODS：Operation Data Store 原始数据java DWD(数据清洗/DWI)data warehouse detail 数据明细详情，去除空值，脏数据，超过极限范围的 明细解析 具体表sql DWS(宽表-用户行为，轻度聚合)data warehouse service ----->有多少个宽表？多少个字段 服务层--留存-转化-GMV-复购率-日活 点赞、评论、收藏; 轻度聚合对DWD数据库 ADS(APP/DAL/DF)-出报表结果Application...
数据仓库为什么要分层
baiba7240的博客
10-29 750
如何分层 结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS【-MID】-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变化的。ODS层的数据可以只保留一定的时间。 MID中间层是采用I...
数据分层详解ODS、DWD、DWM、DWS、ADS
热门推荐
qq_38730338的博客
01-27 3万+
详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS
1、完成“大数据智慧旅游”项目非分区表的创建（ods_bts_industry表，ods_bts_info表，ods_bts_score表，ods_industry_category表，ods_industry_info表）
10-01
在完成“大数据智慧旅游”项目的非分区表创建时，我们需要为描述行业信息、指标得分、分类等数据相关的几张基础表进行设计。以下是关于五个主要表的简要说明： 1. ods_bts_industry表：这个表可能是用于存储旅游业...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清平乐的技术博客

你的鼓励是我最大创作动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值