【阿里巴巴中台—模型设计】模型分层和原则

大数据之路—数据架构体系及模型设计 大数据之路,模型篇汇总 阅读详情

一、模型分层

维度建模将数据分为三层:操作数据层(ODS),公共纬度模型层(CDM),应用数据层(ADS),其中,CDM又分为明细数据层(DWD)和汇总数据层(DWS)。

操作数据层(ODS):把操作系统数据几乎无处理的存放到数据仓库系统中。
公共纬度模型层(CDM):又细分为DWD和DWS,分别是明细数据层和汇总数据层,采用维度模型方法作为理论基础,更多采用一些维度退化方法,将维度退化至事实表中,减少事实表和维表的关联,提高明细数据表的易用性,同时在汇总数据层,加强指标的维度退化,采取更多的宽表化手段构建公共指标数据层,提升公共指标的复用性。
应用数据层(ADS):存放数据产品个性化的统计指标数据,根据CDM与ODS加工生成。

模型架构如下:

 

二、设计原则

1、高内聚和低耦合:将业务相近或者相关、粒度相同的数据设计为一个逻辑或者物理模型;按照使用概率将数据进行分开储存
2、核心模型和扩展模型分离:核心模型包括的字段支持最常用的业务,保持核心模型的简洁
3、公共处理逻辑下沉:对公用处理逻辑进行提早下沉。
4、成本和性能的平衡:适当的冗余能换取查询性能、不适宜过度冗余浪费储存成本
5、数据可回滚:支持数据可以回滚
6、一致性:统一企业数据的口径
7、命名清晰、可理解

深入解析数据仓库ADS层-从理论到实践的全面指南 探索ADS层的核心概念、设计原则和实现方法。学习如何构建高性能、安全可靠的数据应用层,包括星型模型设计、查询优化、增量更新等关键技术。掌握性能调优、数据生命周期管理和持续优化的最佳实践。洞察ADS层未来趋势:实时数据集市、机器学习集成、图数据模型和自然语言查询接口。无论您是数据工程师、分析师还是架构师,本文都将帮助您释放数据价值,支持精准决策。#大数据 #数据分析 阅读详情

相关推荐

数据分析:分层模型分析—RFM

文章目录一、RFM·分层模型二、分层原理三、分析指标实践分析:根据b站“科学科普”分区的视频数据,模仿RFM模型,搭建IFL模型,划分该分区up主的类型。(1)实现步骤(2)实现代码 ` 一、RFM·分层模型 RFM是通过三个维度指标,且每个维度指标细分两类,组成八个分析组,据此对分析目标对象进行价值评估和精细化的管理。 根据分层结果,总结对象层级特点,针对不同的分析对象,采用不同的策略。 二、分层原理 采用五分制标记的方式,把R、F、M指标的数据都分为五个等级。 R F M 高价.

Thomas 3136

数据仓库分层之ODS、CDM、ADS、DWD、DWS

三层设计:(参考阿里One Data) ODS操作数据层 CDM:公共维度模型层 CDM划分为DWD 明细数据层 DWS汇总数据层 ADS 应用数据层 划分原则: 1,高内聚和低耦合 2,核心模型与扩展模型分离 (扩展模型定制化需求) 3,公共处理逻辑下沉及单一 4,成本与性能平衡 5,数据可回滚(多次运行) 6,一致性(上下层,相同名称含义一致) 7,命名清晰,易理解 ...

lquarius的博客 2万+

一文带你认清数据仓库【维度模型设计】与【分层架构】

        本篇博客,博主为大家带来关于数仓项目中纬度模型设计与分层架构的一个说明。 文章目录数据仓库纬度模型设计1. 纬度建模基本概念1.1 事实表1.2 维度表2. 维度建模三种模式2.1 星形模型2.2 雪花模式2.3 星座模式数据仓库分层架构1. 为什么要分层2.数仓分层思想数据运营层(ODS)数据仓库层(DW)数据服务层/应用层(ADS):3. 阿里巴巴数据仓库分层架构1. ODS 数据准备层2、DWD 数据明细

大数据梦想家 1万+

详解数据仓库开发规范要点

01数据层次的划分具体仓库的分层情况需要结合业务场景、数据场景、系统场景进行综合考虑,下面我们看一下常见的分层:ODS:Operational Data Store,操作数据层,在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区,同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到数仓。CDM:Common Data Model,公共维度模型层,又细分为DWD和DWS。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的明细事实表以及汇总公共

cdfunlove的博客 1414

阿里巴巴Java开发工程结构和设计规约

工程结构和设计规约使得Java代码编写更加专业和规范。

夜飞鼠的专栏 1316

Mplus实战:随机截距交叉滞后模型(RI-CLPM)在心理学纵向研究中的进阶应用

本文深入探讨了随机截距交叉滞后模型(RI-CLPM)在心理学纵向研究中的进阶应用,通过Mplus实战演示了模型设定、结果解读及进阶建模策略。RI-CLPM能有效区分个体间差异和个体内变化,适用于追踪青少年手机使用与抑郁症状等研究。文章还提供了样本量规划、模型比较和结果可视化等实用技巧,助力研究者避免常见陷阱。

weixin_29220405的博客 369

【架构】后端项目如何分层及分层领域模型简化

【架构】后端项目如何分层及分层领域模型简化

hiliang521的博客 2226

SAP物料分类账实战:从配置到月结的关键步骤(基于S/4HANA1909)

本文详细解析了在SAP S/4HANA 1909系统中,物料分类账从基础配置到月结操作的全流程。作为成本核算的核心,物料分类账通过多级价格确定实现实际成本核算,关键步骤包括激活物料分类账、配置自动过账科目(OBYC)、运行CKMLCP进行差异分摊与结算。文章旨在帮助财务与成本会计人员确保成本差异的准确归集与分摊,顺利完成月结。

weixin_28314575的博客 195

系统分层架构的全面解析

本文汇总了传统MVC架构、后端三层架构、阿里分层架构、DDD架构以及基于DDD架构的整洁架构和六边形架构。从前往后越来越复杂,其他也对应着软件工程的越来越复杂,架构模式也变的越来越复杂 软件架构领域没有一招鲜吃遍天的功法,针对的不同的业务场景采用不同的架构,并且随着业务的发展,不断调整架构以适应业务的发展,以变(架构、技术组件、重构等)应不变(业务发展、用户体验、稳定性等)才是一个合格的软件工程师应追求的境界。 1.为什么要分层? 分层架构是将软件模块按照水平切分的方式分成多个层,一个系统由多层组成.

qq_40519943的博客 2万+

WorkBuddy 连接百度网盘:能查能上传,但别指望 AI 帮你下载

本文介绍了如何通过WorkBuddy连接百度网盘实现文件管理功能。首先需要在百度开放平台创建应用并获取AppKey等凭证,然后通过拼接授权URL获取Access Token并填入WorkBuddy。实际测试表明,该连接器支持查看目录结构、搜索文件及上传文档,但无法实现文件下载和创建分享链接,原因是百度网盘MCP Server未提供相关接口。使用前需明确功能限制,该方案适合需要远程查阅网盘内容但不涉及下载的场景。

u011186532的专栏 1908

Oracle EBS Tax 四国实现详解:印度、巴西、美国、阿根廷

印度:务必启用India Localization模块,不要尝试用标准EBTax模拟GST逻辑 巴西:必须配置NF-e接口,建议聘请本地税务顾问设置CFOP和NCM代码映射 美国:跨州业务强烈建议购买Vertex或Avalara服务,自建税率表维护成本极高 阿根廷:注意1:1:1架构限制,提前规划Legal Entity和OU结构

金牌架构师 260

产品架构设计原则与方法

先解释下“应用层(小前台)”和“服务层(大中台)”中“大小”的意思,“小前台”其实并不是真的小,只是相对中台小而已,因为中台包含的服务特别多(如果不理解服务的意思,可以把“服务”改成“能力”),承载的业务也丰富,而不同前台产品都是有不同定位的,可能一个中台服务于十几甚至几十个产品,所以就是小前台、大中台。那么前台到底是什么?将业务能力转化成对应的业务实体就是抽象的过程,即对相同或相似的业务能力提取出共性的特征,抽象出可以提供给不同前台的公共服务,尽量做到服务通用,个性化需求由不同的前台实现。

zyjwjck的博客 1379

【突变检验方法一】MATLAB实现Pettitt突变检验

MATLAB实现Pettitt突变检验及贝叶斯突变检测等

WW、forever的博客 1万+

阿里数据仓库架构与模型设计

在划分​。

张伟的专栏 1047

2026华为OD机试(JAVA&Go)真题【E卷+A卷+B卷+C卷+D卷】目录+在线OJ

华为OD机试真题题库【E卷+A卷+B卷+C卷+D卷】目录,Java实现。

MISAYAONE的博客 34万+

【KingSCADA】如何建立硬件系统及相关变量

本篇主要讲解如何定义设备,如何定义变量。KingSCADA3.8的采集系统是指负责和现场设备进行通讯,并采集现场数据和控制现场数据的模块,称之为采集器,也叫IOServer应用,它是一组独立的应用程序,可以脱离KingSCADA3.8软件,它依赖于KingSCADA3.8驱动产品,通过驱动与IO设备进行通讯。采集系统由通讯链路,设备,数据块组成。链路:链路是指计算机通过什么方式(接口)与设备进行连接,链路类别:串口,以太网,GPRS,Modem,通信卡,采集卡,无链路。

做有价值的事,积累有价值的笔记! 1万+

阿里巴巴大数据之路——数据模型篇

阿里巴巴大数据之路——数据模型篇 一、概述   1.什么是数据模型?     数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。   2.典型数据仓库建模方法论     ER模型     纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表) 二、阿里巴巴数据整合管理体系oneData    1.体系架构          核心内容包括规范定义、模型设计等!     2.模型分层       主要分为三大层(.

周红伟讲AI 1425

【产品经理修炼之道】- 基金产品-“TA系统 ”

TA:Transfer Agent 缩写,通常称成“登记过户”。开放式基金登记过户(TA)系统是基金的登记过户系统。其功能涵盖了基金交易业务的各个环节,包括账户业务处理,如投资者开户、修改账户资料、挂失/解挂等;日常交易业务处理,如认购、申购(一般申购和定期定额)、赎回(一般赎回、指定赎回、预约赎回等)、转托管、基金转换等;特殊业务处理,如非交易过户、账户冻结/解冻等;分红业务处理,如现金分红和红利再投资。

xiaoli8748的专栏 1677

优秀的代码都是如何分层的?

1、背景 说起应用分层,大部分人都会认为这个不是很简单嘛 就controller,service, mapper三层。看起来简单,很多人其实并没有把他们职责划分开,在很多代码中,controller做的逻辑比service还多,service往往当成透传了,这其实是很多人开发代码都没有注意到的地方,反正功能也能用,至于放哪无所谓呗。这样往往造成后面代码无法复用,层级关系混乱,对后续代码的维护非常麻烦。 的确在这些人眼中分层只是一个形式,前辈们的代码这么写的,其他项目代码这么写的,那么我也这么跟着写。但是

飞熊的博客 1298

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Java中的分层领域模型

分层领域模型简介 其他网址 04.分层领域模型使用解读 - 个人文章 - SegmentFault 思否 摘自:《阿里巴巴Java开发手册》 一、分层领域模型规约 项 说明 DO(Data Object) 与数据库表结构一一对应,通过DAO层向上传输数据源对象。 DTO(Data Transfer Object) 数据传输对象,Service或Manager向外传输的对象。若作为分布式服务的参数或返回对象,通常要实现序列化接口。 BO(Business Obje

IT利刃出鞘的博客 2825

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

DDD实战(二):分层架构的依赖原则

附源码案例

zhenghhgz的博客 1927

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

项目重构-项目代码分层的意义

项目重构-项目代码分层的意义 分层设计是什么?有什么好处? 分层设计将软件划分成若干层,每一层只解决一部分问题,通过所有层的协作来完成整体的目标。一个复杂的问题通过分解成一系统子问题,这样就有效的降低了每个子问题的规模与复杂度。 分层设计带来的好处: 降低了系统软件的复杂度。将一个复杂问题通过分解,分而治之。 功能的复用和封装。 项目分层的目的 保证多成员参与的项目保持视觉一致性; 迭代与交接可以更加无缝; 减少设计出错率; 提升团队工作效率; 直接目的是约束设计行为,最终目的是确保设计合理统一 如

CoLiuRs 1376

应用分层和企业规范

阿里开发手册中,关于工程结构部分,定义了常见工程的应用分层结果,如图:应用分层 是一种软件开发设计思想,它将应用程序分成N个层次,这N个层次分别负责各自的职责,多个层次之间协同提供完整的功能。根据项目的复杂度,把项目分成三层,四层或者更多层。其中常见的MVC设计模式,就是应用分层的一种具体体现。1、学校Spring MVC,其实就是学习各种Web开发需要用到的注解:a、@RequestMapping:路由映射b、@RequestParam:后端参数重命名。

cool_tao6的博客 2433

分层架构的依据和原则,大厂直通车

由于篇幅限制,小编在此截出几张知识讲解的图解[外链图片转存中…(img-L8fqhYDo-1711090915292)][外链图片转存中…(img-ONLuHhWv-1711090915292)][外链图片转存中…(img-nGUDGv0a-1711090915292)][外链图片转存中…(img-X1qRn4vA-1711090915292)]点击传送门,即可免费领取!

Y1567409的博客 794

数据仓库分层详解

数据仓库分层是数据架构设计的核心方法论,通过将数据处理流程划分为多个逻辑层次,实现数据的有序流转与管理。下面将从分层意义、主流分层架构、各层详解、分层实践案例和分层设计原则五个方面进行全面阐述。

学亮编程手记 1519
上一篇: 【阿里巴巴中台—理论篇】为什么要建模?
下一篇: 【Kimball维度建模】+【阿里巴巴中台—OneData实施】
DM_Source
博客等级 码龄9年 33粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值