数据仓库-5.总线架构

数据仓库建模技巧:总线架构、维度模型、事实模型 维度模型是指根据分析的需求,将数据按照维度和度量进行划分的一种数据模型。每个事实表至少与一个维度表相关,通过维度表的属性来描述事实表的数据。总结:数据仓库中的三类模型是构建数据仓库的核心技术,也是数据分析的基础。总线架构法可以帮助我们对企业数据进行有序的划分,维度模型可以帮助我们更好地理解数据,而事实模型则可以帮助我们衡量企业的业务绩效。在实际应用中,我们可以根据具体的业务需求选择合适的模型,以达到最佳的数据处理和分析效果。在本文中,我们将重点介绍数据仓库中的三类模型:总线架构法、维度模型、事实模型。 阅读详情

总线架构是数据仓库建设的总体规划,从整体视角描述了解决方案的维度模型,描述了各个子系统的功能以及关系,描述数据从源系统到决策系统的数据流程,提供建立企业数据仓库系统的增量式方法。业务需求回答了要做什么,总线架构就是回答怎么做的问题。

一、整体解决方案架构:

      数据仓库的核心功能从源系统抽取数据,通过清洗、转换、标准化,将数据加载到BI平台,进而满足业务用户的数据分析和决策支持。数据仓库整体解决方案架构包含三个部分:源数据、 数据仓库、数据应用。

 

 

二、数据仓库分层架构:

  数据仓库的数据来源于不同的源数据,并提供多样的数据应用,数据自下而上流入数据仓库后向上层开放应用,而数据仓库可以是数据中心管控平台。

 

 

   源数据层(ODS):此层数据无任何更改,直接沿用外围系统数据结构和数据,不对外开放;为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备,一般只会进行数据筛选和异常处理。

  数据转换层(DSA):数据加工区域,主要涉及数据的转换数据,清洗数据,过滤数据等操作。

  数据仓库层(EDW):DW 层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。

  数据应用层(DA 或 APP):前端应用直接读取的数据仓库;根据报表、专题分析需求而计算生成的数据,数据仓库是数据处理的后台,业务用户并不关心后台怎么处理。数据应用是数据呈现的前台,是业务用户进行查询的入口。BI应用程序的体验也是衡量数据仓库是否成功的主要因素。好的数据仓库搭建平台可以通过数据仓库将数据发送到前端进行分析数据。

   数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是 ETL的过程,ETL 是数据仓库的流水线,也可以认为是数据仓库的血液,它维系着数据仓库中数据的新陈代谢,而数据仓库日常的管理和维护工作的大部分精力就是保持 ETL 的正常和稳定。

三、为什么要对数据仓库架构进行分层?

  数据仓库的分层是在利用空间换时间,通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据;不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大。通过数据分层管理可以简化数据清洗的过程,因为把原来一步的工作分到了多个步骤去完成,相当于把一个复杂的工作拆成了多个简单的工作,将数据仓库分层后更加方便处理每一层,这样每一层的处理逻辑都相对简单和容易理解,我们也比较容易保证每一个步骤的正确性,当数据发生错误的时候,往往我们只需要局部调整某个步骤即可。当然分层也要适当,如果项目较小完全可以直接使用两层架构来完成工作就没有必要搭建三层架构。

四、架构的特点:

  1、易用性,数据仓库的目的是决策支持系统(Decision Support System ,简称DSS),既然面向的的是分析用户,那么数据越容易理解,越能受用户欢迎,而维度建模包含具有描述特性的维度表可以让用户很容易理解数据,而不像范式建模,由于太过规范化而导致用户对数据的理解有一定的难度,需要对业务的很深很细的了解。

  2、性能高,通过数据的处理,排序和整合,构建出来的维度表,不仅能够让用户很方便的理解数据,使用数据,而且在计算所需要的数据的时候,不需要关联太多的表,从而使得计算的性能很高。

  3、扩展性,具有非常好的可扩展性,以便容纳不可预知的新数据源和新的设计决策。可以很方便在不改变模型粒度情况下,增加新的分析维度和事实,不需要重载数据,也不需要为了适应新的改变而重新编码。

五、总结

 

 

       通过使用维度建模,用户可以得到很好的效果,只有用户满意了,数据仓库才能实现更大的价值。可以说维度建模的核心是星型模型,星型模型所拥有的特点正是用户方便使用的根源。维度模型也有缺点,比如数据一致性很难保证,数据冗余,维度信息处理等,但这些相对于它的优点来讲都是可接受的,而且也可以通过其他方式避免和简化的。如果以维表为总线,事实表以维表为基础的总线矩阵,建设出来的架构正是总线式架构。

【计算机组成原理】总线(一)—— 总线的概述与结构 总线是一组能为多个部件分时共享的公共信息传送线路。每个总线可能由很多根信号线组成。 阅读详情

相关推荐

大数据最全数据仓库面试题集锦(附答案和数仓知识体系)(1)

这些服务和企业的业务有较强关联性,是企业所独有且能复用的,他是企业业务和数据的积淀,其不仅能降低重复建设,减少烟囱式协助的成本,也是差异化竞争的优势所在。总的来说,数据中台距离业务更近,数据复用能力更强,能为业务提供速度更快的服务,数据中台在数据仓库和数据平台的基础上,将数据生产为一个个数据API服务,以更高效的方式提供给业务。:逻辑模型反映的是系统分析人员对数据存储的观点,是对概念模型的进一步分解和细化,逻辑模型是根据业务规则确定的,关于业务对象,业务对象的数据项以及业务对象之间关系的基本蓝图。

2401_84182936的博客 1567

总线结构概述

总线及其相关操作

Sisyphus415的博客 3789

数据仓库建模(四):维度表的设计

数据仓库建模(四):维度表的设计维度表的结构 维度表的结构

半吊子Kyle的博客 4537

Data Warehouse 系列之构建业务总线矩阵

数据仓库总线矩阵(Data Warehouse Bus Matrix)是数据仓库设计中一个重要工具。它用于定义数据仓库中的业务过程和数据维度之间的关系,提供了数据模型的整体视图以及数据仓库中各个数据源之间的关系。总线矩阵通常是一个表格,其中每一行代表一个业务过程,每一列代表公共维度(一致性维度),还包括业务过程与维度间的联系,图中每个叉号表示该业务过程与维度具有关联关系,也就是我们通常说的外键。数据仓库总线矩阵通常由两个维度构成:业务过程和数据维度。业务过程包括数据分析。

IDE 2078

数据仓库系列4-维度表

文章目录一. 维度表技术基础1.1 维度表结构1.2 维度代理键1.3 自然键、持久键和超自然键1.4 下钻1.5 退化维度1.6 非规范化扁平维度1.7 多层次维度1.8 文档属性的标识与指示器1.9 维度表中的空值属性1.10 日历日期维度1.11 扮演角色的维度1.12 杂项维度1.13 雪花维度1.14 支架维度二. 使用一致性维度集成2.1 一致性维度2.2 缩减维度2.3 跨表钻取2.4 价值链2.5 企业数据仓库总线架构2.6 企业数据仓库总线矩阵2.7 总线矩阵实现细节2.8 机会/利益相关

只是甲的博客 4413

7、数据仓库维度表技术全面解析

本文全面解析了数据仓库中维度表的核心技术,涵盖维度表基础结构、代理键设计、缓慢变化维度处理方法(Type 0-Type 5)以及一致性维度、退化维度、角色扮演维度等关键概念。结合企业数据仓库总线架构与总线矩阵,深入探讨了维度建模在数据集成与分析一致性中的重要作用,为构建高效的企业级DW/BI系统提供了系统化指导。

flink9streamer的博客 43

计算机组成原理 《总线系统》

一、总线结构实例 1、CPU总线(系统总线),也称CPU—存储器总线。 2、PCI总线:用于连接高速的I/O设备模块,通过“桥”芯片,与更高速的CPU总线相连。 3、ISA总线: 与低速I/O设备连接。 将CPU总线—PCI总线的桥称为北桥(速度快),将PCI总线—ISA总线的桥称为南桥(速度慢)...

m0_67745111的博客 734

各种AI的调试日记——辅助工作篇

记录使用各种AI(语言大模型)的心得和总结

m0_73056986的博客 1393

数据仓库总线架构:企业数据整合的核心策略

在数据驱动的商业世界中,企业正面临前所未有的数据整合挑战。如何打破数据孤岛、确保跨部门数据一致性,同时保持架构的灵活性?**数据仓库总线架构**正是解决这一难题的关键策略。由数据仓库之父Bill Inmon提出的这一方法论,通过标准化维度和事实表设计,实现了数据仓库从"集中式存储"到"模块化集成"的范式转变。无论您是正在规划数据仓库升级,还是探索数据治理新方案,这篇指南都将为您提供可落地的洞察。立即阅读,解锁企业级数据整合的制胜之道!

neweastsun的专栏 1271

深入浅出:CosineLRScheduler 调度器的原理与实战应用

本文深入解析了CosineLRScheduler调度器的核心原理与实战应用,详细介绍了余弦退火算法及其在深度学习模型训练中的优势。通过参数配置建议、PyTorch实现示例和常见问题解决方案,帮助开发者高效应用该调度器提升模型性能,特别适用于计算机视觉和自然语言处理任务。

sss66的博客 859

InterSystems IRIS 数据库数据平台安装

下载地址:安装包:IRIS_Community-2024.1.0.267.2-win_x64.exe。

yuguang的博客 2379

耗时n年,38页《数据仓库知识体系.pdf》(数据岗位必备)

拥有本篇文章,意味着你拥有一本完善的书籍,本篇文章整理了数据仓库领域,几乎所有的知识点。

独木不成林,单弦不成音。 93万+

.NET MAUI 第13讲 深入探索 .NET MAUI Essentials:让应用感知设备与环境,打造智能体验

摘要:本文介绍了.NET MAUI Essentials库如何赋能移动应用感知设备环境的能力。文章详细讲解了设备信息获取(DeviceInfo)、网络状态监测(Connectivity)、地理位置服务(Geolocation)、地图集成(Map)以及传感器(Accelerometer等)等核心功能的使用方法,并提供了完整的代码示例。通过一个综合练习,展示了如何构建设备信息仪表板,实时显示设备参数和网络状态,并实现位置获取与地图导航功能。这些跨平台API能显著提升应用智能化和用户体验,同时保持代码简洁高效。

AlphaNil的博客 1089

哪种数据仓库架构最成功?

在BI/DW领域中,围绕“哪一种数据仓库架构(Data Warehouse Architecture)最佳?”的争论一直没有休止,这个问题同时也是企业在建立DW时需要决策的关键问题。Bill Inmon的集线器架构/企业信息工厂架构(Hub and Spoke / CIF – Corporate Information Factory)与Ralph Kimball的数据集市/数据仓库总线架构(Da

商业智能之路 2701

HTB Attacking GraphQL Skills Assessment

通过枚举应用,利用GraphQL API,发现sql注入点,然后利用找到flag。

qq_33522010的博客 455

USB3.0 Type-B连接器SSTX/SSRX信号定义常见错误与硬件设计避坑指南

本文详细解析了USB3.0 Type-B连接器中SSTX/SSRX信号的定义标准与常见设计错误。针对连接器厂商图纸可能出现的信号标识错误,提供了实用的排查方法和硬件设计避坑指南,帮助工程师避免因引脚定义颠倒导致的通信降级或故障,确保USB3.0高速传输的稳定性。

gg901的博客 1274

谈谈数据仓库架构的发展和分类

大中小 2007-5-25 14:51:10   作者:姜玲   本文关键字: ttnn 2006年12期 Jerome 20061210 最近大家对数据仓库架构的讨论又多了起来,我在这里对一些架构进行一下简单的整理。目的是给大家树立一个靶子,大家可以在这篇文章后尽情的批判和补充。 我把我听说过的架构都归整在一起,分了六类,其中和很多说明是我个人的理解,不见得正确,大家多多指导。

nisjlvhudy的专栏 3277

使用Spring Cloud实现银行核心系统的案例示例

以下是一个基于Spring Cloud的银行核心业务系统实现方案,涵盖架构设计、关键模块实现与生产级部署方案。该系统设计满足金融级高可用、强一致性和监管合规要求。

银行信息系统应用架构详解 1175

数据仓库面试题集锦(附答案和数仓知识体系)

数据仓库知识体系 + 面试题集锦

独木不成林,单弦不成音。 4万+

Chamfer Loss

ChamferLoss是一种常用于3D点云(pointcloud)处理的损失函数,特别是在点云生成和对齐任务中。它的目的是度量两个点集之间的相似度,特别是在点云重建、配准或生成等任务中,常用于优化模型使得生成的点云更接近真实的点云。

夜空中明亮的星的专栏 455

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

数据仓库(二)之维度建模篇

概述 维度建模是一种将数据结构化的逻辑设计方法,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。 维度建模优点 事实表 事实表存储了从业务活动或事件提炼出来的性能度量,它主要包含维度表的外键和连续变化的可加性数值或半可加事实。事实表产生于业务过程

雾岛与鲸的博客 730

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

浅析多维体系结构(总线架构), 一致性维度和一致性事实(转载)

转载于http://wenku.baidu.com/link?url=hXWQyKcbE9Y8cUqjTK4r_iCTn18UU63YRdzlCTmf2ZloY5RVFhZYRhN-7bUrgGGjwe7FkjymUUJXhQ08nbq8VgYX-bve8_Bgfjy9TpsPIhK 在Kimball的维度建模的数据仓库中,关于多维体系结构(MD)有三个关键性概...

baiba7240的博客 914

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

数据仓库面试知识总结

数据仓库面试知识总结

qq_41544550的博客 5808

第二十七篇 数据仓库与维度建模指南:从理论到实战的进阶之路

文章内容仅供参考,需仔细甄别。文中技术名称属相关方商标,仅作技术描述;代码示例为交流学习用途,部分参考开源文档(Apache 2.0/GPLv3);案例数据已脱敏,技术推荐保持中立;法规解读仅供参考,请以《网络安全法》《数据安全法》官方解释为准。

qq_39991788的博客 1419

数据仓库: 1- 数据仓库基础

数据仓库 ( Data Warehouse, 简称DW或DWH ) , 也称为企业数据仓库 ( EDW ) , 是一个用于报告和数据分析的系统, 被认为是商业智能的核心组成部分 ; 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合, 用于支持管理决策 ; ​ 它可以帮助企业整合来自不同数据源的数据, 并将其转换为易于理解和分析的格式 ;

Taerge0110的博客 1466

数据仓库灵魂30问之什么是数据仓库?如何构建数据仓库?

什么是数据仓库?如何构建数据仓库? 什么是数据仓库? 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,它用于支持企业或组织的决策分析处理。 面向主题的:数据集合是以主题为单位进行数据汇聚,一个主题内只存储与本主题有关系的数据。 集成的:数据来源多种多样,需要ETL操作。 相对稳定的:一般只进行写入与查询操作,不进行更新与删除。 反映历史变化:关键数据隐式或显

寒暄的博客 741
上一篇: 数据仓库-4.ETL过程和ETL工具
下一篇: 数据仓库-6.元数据管理
泡壶好茶
博客等级 码龄17年 243粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值