数据仓库设计与实现入门(一、ODS/DW/BN简介)

一、从数据流的逻辑上来讲,数据可以分为ODS层(原始日志数据),DW层(数据仓库),BN(统计结果数据)

Spark/SparkStreaming任务加载原始日志(离线处理flume落地到hadoop集群的hdfs或实时消费kafka数据)提取业务最原始数据,根据业务逻辑生成ODS层数据(分类/分流后的原始日志);再根据业务场景进一步将业务ODS层数据划分到DW层(处理后的数据模型);最后跟据具体业务需求,从DW层数据模型中产出最终业务数据,即BN层;

ODS、DW层数据一般直接存储于hdfs,建议以orc(优先)/parquet(嵌套数据结构)文件格式存储(列式存储,DataFrame读写,压缩比较高,且读写较快,支持hive、impala等),DW层数据可以建立Hive表,供数据分析师直接使用Hive Sql/Spark Sql使用sql语言查询。

BN层数据一般存储hdfs(冷数据)+ ES、Hbase、MySQL或Redis(热数据)。这部分数据可以作为数据管理系统后台数据(提供产品运营同事查询),或作为接口服务的后台数据,提供数据接口与业务研发同事使用(出于数据安全性考虑,一般不建议直接提供数据库与业务研发同事访问或数据直接写入业务数据库)。

下一章:产品数据分类,数据模型设计

数据分层是指将数据按照不同的层级进行组织和管理的过程。在数据分层中,常见的层级有ODS层(数据运营层)、DW层(数据仓库层)和DM层(数据集市层)。 ODS层是数据分层的第层,也称为数据运营层。在ODS层中,数据进行定的清洗和处理,例如处理异常字段、统时间字段格式等。 DW层是数据仓库层,是数据分层的核心设计层。在DW层中,根据主题建立各种数据模型,包括DWD(数据仓库细节层)、DWM(数据仓库中间层)和DWS(数据仓库服务层)。DWD层或者称为ODS层,作为业务层数据仓库的隔离层,用于屏蔽底层数据的差异。 DM层是数据集市层,可以理解为DW层向DM层的过渡层。在DM层中,数据进行宽表汇总,用于分析某个特定主题领域的服务数据。 数据分层的目的是为了更好地管理数据,提供清晰的数据掌控能力。通过数据分层,我们可以对不同层级的数据进行不同的处理和分析,以满足各种需求。比如,ODS层可以处理数据的规整和清洗,DW层可以按照主题进行组织和建模,DM层可以提供宽表汇总的服务数据。 综上所述,数据分层是将数据按照不同层级进行组织和管理的过程,包括ODS层、DW层和DM层。每个层级都有不同的作用和目的,通过数据分层可以更好地管理和利用数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [数据分层/ODS/DW/DM](https://blog.youkuaiyun.com/cuiyadll/article/details/124682342)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [数据仓库--通用的数据仓库分层方法?为何分层?ODS/ DW/DWD/DWS/APP](https://blog.youkuaiyun.com/u010002184/article/details/113885628)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值