【阿里巴巴中台—理论篇】为什么要建模?

阿里巴巴大数据实践:OneData模型实施介绍 如何从具体的需求或项目转换为可实施的解决方案,如何进行需求分析、架构设计、详细模型设计等,则是模型实施过程中讨论的内容。本节先简单介绍业界常用的模型实施过程,然后重点讲解阿里巴巴OneData模型设计理论及实施过程。 1.业界常用的模型实施过程 **Kimball模型实施过程 ** Kimball维度建模主要探讨需求分析、高层模型、详细模型和模型审查整个过程。 构建维度模型一般要经历三个阶段:第一个阶段是高层设计时期,定义业务过程维度模型的范围,提供每种星形模式的技术和功能描述;第二个阶段是详细模型设 阅读详情

要想做一个比较好的全域模型架构,第一点,你要明白为什么要进行建模?

随着进入大数据时代,数据来源丰富,数据量也飞速增长。大数据时代之前的储存架构明显开始脱力,数据消费也面临完整性、准确性和及时性的挑战。类比,人类在农业革命之前,依靠大脑去储存植物、动物和地理相关等信息。但是在农业革命之后,帝国昌盛,帝国的运作,需要记录法律、税收、物质库存、各种节日和打了胜仗的日期等等信息。所以农业革命之前的‘储存架构’——大脑开始脱力,所以苏美尔文字系统开始出现在历史长河。苏美尔文字系统更好的帮助了苏美尔人有效的记录了大麦的库存。维度建模在某种程度上可以等同于人类历史上的‘苏美尔文字系统’。

阿里巴巴对于数据模型的解释是:数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。

他能带来的好处就是:

  • 性能:良好的数据模型你帮助我们快速查询所需要的数据,减少数据的IO吞吐。
  • 成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。
  • 效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。
  • 质量:良好的数据模型能改善数据统计口径的不一致性,减少计算错误的可能下。

所以,建模能让你在大数据系统下更好的组织和存储数据。

浅谈数据建模 业务要发展,数据不可少;可表达业务逻辑的数据模型尤为重要。 本文从数据建模的过程和通用方法出发,结合笔者自身项目实例,谈一谈个人对数据建模的认知和思考,希望可为广大深入接触业务领域的数据人提供思路。 阅读详情

相关推荐

大数据学习的有哪些相关书籍

时间过的真快,马上大半年都要过去了,今天推荐最近读的大数据专业书,当然也读了几本心灵鸡汤,特别分享于你。 1、阿里巴巴数据技术及产品部的《大数据之路:阿里巴巴大数据实践》 它山之石,可以攻玉,大公司实践的书可以多读,笔者专门为这本书写过两篇读书心得,里面有很多的干货,可以起到开阔视野的作用,对实际工作有借鉴意义,值得精读。 推荐指数:四星 2、杨旭的《机器学习在线:解析阿里云机器...

李旭的博客 2159

打破传统新兴界限|迎接全模时代

随着数字化浪潮全面兴起,传统企业与新兴互联网企业的界限越来越模糊。大家眼中的传统企业,它们的一些应用系统,依然需要依赖集中式的 IT 模式进行集约化部署,从而保障关键业务的高可靠、高性能与稳定性。同时,为了满足业务创新的快速迭代以及日益复杂、多元的互联网业务需求,传统企业也需要分布式架构带来的敏捷和弹性,以高效支持业务创新与企业转型。青小云在众多的私有云项目中,陪伴和亲历了各行各业传统企业的云化历程

青云QingCloud 355

数仓建模—指标体系初识

这里我们需要理解的一个东西是什么呢,就是为什么要指标呢,指标是干嘛的,一个指标是为了说清楚一个问题,这个问题往往只需要一个数字就能说明,例如你有多少钱(钱包里的钱不是你的资产),你今年几岁了,你的房子有多大,你有几套房。例如你在国外旅游的时候你说,中国很大,那别人就不清楚到底多大,也就是这个问题没有说清楚,那这个时候你怎么办呢,你可以这样说我们国家的面积是960万平方公里,可能这个时候这个问题就已经很清楚了,但是你可以再补充一句,是你们国家面积的3倍。

5万+

数据建模相关综述

表的分类 1、实体表 实体表,一般是指一个现实存在的业务对象。 比如用户,商品,商家,销售员等等。 用户表: 用户id 姓名 生日 性别 邮箱 用户等级 创建时间 1 张三 2011-11-11 男 zs@163.com 2

qq_42456324的博客 6235

使用DCA1000和EVM板进行数据采集

目录 1. 准备工作 1.1 硬件 1.2 软件 2. 驱动安装 3. 设置静态IP地址 4. 采集数据 5. 采集的数据文件的格式 6. 数据采集存储的数据流 参考资料 1. 准备工作 1.1 硬件 EVM板,电源线(5V,>2.5A),USB线 DCA1000,电源线(5V,>2A),USB线,网线,60pin Samtec cable 1.2 软件 mmWave Studio Matlab Runtime Engine v8.5.1 将DCA1000和EVM板

qq_42235129的博客 1万+

Vivaldi天线HFSS建模实战:从参数化曲线到辐射优化的完整流程

本文详细介绍了Vivaldi天线在HFSS中的建模与优化全流程,涵盖参数化曲线绘制、馈电系统设计及性能验证等关键步骤。通过实战案例分享,帮助工程师掌握超宽带天线的HFSS建模技巧,提升雷达探测和通信系统设计效率。重点解析了指数渐变曲线建模、微带馈电优化等核心技术要点。

weixin_29228781的博客 273

全域用户建模在美团首页推荐的探索与实践1

总的来说,我们通过多阶段递进式探索验证的方式,在美团首页推荐召排模块引入多展位、多应用渠道的多源用户交互数据,并在落地过程中解决美团多展位、多业务、时空场景强相关性的特点导致的严重跨域信号负迁移挑战。全域用户建模经过多期算法落地已经取得显著业务收益,缓解了首页推荐用户行为稀疏导致的模型训练不充分及用户兴趣预估有偏问题,大幅提升了首页猜喜推荐系统在全面理解用户行为模式上的能力。此外,我们在排序模块的部分创新成果也已在CIKM2024会议上发表。

m0_74022416的博客 1026

【入门AUTOSAR网络管理测试】RSS-PBM状态转换

随着智能电动汽车行业的快速发展,目前AUTOSAR网络管理也得到了广泛应用,AUTOSAR网络管理测试也是汽车网络测试中非常重要的环节,NM问题导致的汽车ECU不能唤醒、电瓶亏电等问题,对于新入门AUTOSAR网络管理测试的同学不清楚如何开展测试,那么本章节就主要给大家介绍网络管理中RSS-PBM状态转换如何测试。【入门AUTOSAR网络管理测试】AUTOSAR网络管理规范需求解读。

测试领域技术分享 872

【Kimball维度建模】+【阿里巴巴中台—OneData实施】

一、Kimball维度建模 1.前生今世 维度建模出自Ralph Kimall的《The DataWarehouse Toolkit-The Complete Guide to Dimensona Modeling》(《数据仓库工具箱》)一书,是十分流行的数仓建模理论。 维度建模从根本上来讲是以结果为导向的,由数据消费到底层数据的思路。维度建模是一种比较容易理解的业务数据化的方法和思维。个人...

DM_Source的博客 2181

ACS运动控制器编程语言

ACS运动控制器采用SPiiPlusLanguage(SPL)作为核心编程语言,该语言基于C语法设计,内置丰富的运动控制指令,支持点位运动、插补等复杂控制。控制器提供专用开发工具SPiiPlusManager和ACSStudio,支持图形化编程与调试。同时兼容TCP/IP、EtherCAT等多种扩展接口,便于与上位机或PLC集成。使用时需注意实时性优先级、轴参数匹配等关键事项。官方文档和示例程序为开发者提供了完善的学习资源。

StevenChen的博客 617

YOLOv12改进策略【卷积层】| CVPR-2020 利用DynamicConv 动态卷积 结合A2C2f进行二次创新,提高精度

在大规模视觉预训练中,通常模型的性能受到数据、参数和FLOP三个关键因素的影响。一般来说,模型的参数数量越多,FLOP也越高,但在移动设备等对计算资源有限制的场景下,需要低FLOP的模型同时又希望模型能从大规模预训练中受益。传统的方法很难在增加参数的同时保持低FLOP,因此需要一种新的设计来解决这个问题,模块应运而生。

Limiiiing的博客 827

【阿里巴巴中台—模型设计】模型分层和原则

一、模型分层 维度建模将数据分为三层:操作数据层(ODS),公共纬度模型层(CDM),应用数据层(ADS),其中,CDM又分为明细数据层(DWD)和汇总数据层(DWS)。 操作数据层(ODS):把操作系统数据几乎无处理的存放到数据仓库系统中。 公共纬度模型层(CDM):又细分为DWD和DWS,分别是明细数据层和汇总数据层,采用维度模型方法作为理论基础,更多采用一些维度退化方法,将维度退化至事实...

DM_Source的博客 2319

每周技巧tc 问题处理技巧Teamcenter

(内部)Dataset和Tool相关之2.1——Tool轮询Contents Type和Type Name-赖良顺.docx。(内部)Dataset和Tool相关之3.2——编写Batch和Perl为客户端自动注册相关内容-赖良顺.docx。(内部)Dataset和Tool相关之1.1——Tools和Datasets参数定义-赖良顺.docx。(内部)Dataset和Tool相关之1.2——相关首选项定义及修改-赖良顺.docx。(内部)Dataset和Tool相关之0——概述-赖良顺.docx。

TC技术专栏 1230

阿里架构师谈中台系列(二):阿里业务中台的方法论

Photo @David Emrich文|焦先编者按:阿里巴巴业务中台系列文章第一篇--《阿里巴巴架构师:十问业务中台和我的答案》自 2019 年 11 月 28 日发布至今日,仅...

技术领导力 4676

Android系统修改驱动固定USB摄像头节点绑定前后置摄像头

Android系统中usb摄像头节点会因为摄像头所接的usb口不同或者usb设备识别顺序不一样而出现每次开机生成的video节点不一样的问题。由于客户app调用摄像头时,需要固定摄像头的节点。因此需要针对前面的情况做处理。

Android系统开发笔记 2250

SAP Joule 经过了超过 2.5 亿行 ABAP 代码的训练之后......

披露的统计数据,Joule 提供的这种全新系统交互方式,可将事务性任务执行速度提高 90%,访问 SAP Help Portal 内容的速度提高 95%。在 ABAP 应用开发领域,SAP 官网数据显示,Joule 经过超过 2.5 亿行 ABAP 代码的训练,有信心成为这一领域行业领先的代码助手。刚刚过去的 SAP 蓝宝石大会上,SAP 提到,从2023年第四季度以来,SAP 已经交付了 50 项基于人工智能的创新。让其生成 SAP 应用能够识别的结构化应用数据,业务用户全程无需离开 SAP 应用程序。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 793

企业IT架构转型之道:阿里巴巴中台战略思想与架构实战. 2.5 为真正发挥大数据威力做好储备...

2.5 为真正发挥大数据威力做好储备 如今,“大数据”成为近年来在互联网、IT业界最为炙手可热的名词,很多人甚至将企业互联网转型的期望完全寄托到了大数据上,这也就是为什么越来越多的企业纷纷上马大数据项目。我个人坚信,大数据接下来会是展现企业核心竞争力并挖掘新商业模式,从而改变世界的强大技术推动器。但我发现很多大数据项目在实施落地时因为各种问题和原因,从结...

weixin_34008933的博客 108

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

阿里巴巴建设业务中台的方法论

Photo @David Emrich文|焦先编者按:阿里巴巴业务中台系列文章第一篇--《阿里巴巴架构师:十问业务中台和我的答案》自 2019 年 11 月 28 日发布至今日,仅...

程序亦非猿——一个能帮你进大厂的男人 3023

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

阿里巴巴中高级java面试题详解,吃透这20道面试题,offer拿到你手软

最近,有很多童鞋咨询我面试的问题,今天专门为大家整理了一些程序员面试中常见的问题,希望对童鞋们有帮助哦! 问题一:多线程有什么用? 一个可能在很多人看来很扯淡的一个问题:我会用多线程就好了,还管它有什么用?在我看来,这个回答更扯淡。所谓”知其然知其所以然”,”会用”只是”知其然”,”为什么用”才是”知其所以然”,只有达到”知其然知其所以然”的程度才可以说是把一个知识点运用自如。OK,下面说说我对这个问题的看法: (1)发挥多核CPU的优势 随着工业的进步,现在的笔记本、台式机乃至商用的应用服...

GD_YuZhe的博客 310

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

赠书啦!跟阿里大牛捞干货:2019年带你玩转人工智能、大数据!福利见文末!...

云栖君导读:2019年,你都立了哪些flag?等一年之后回头看看,这些flag都能拔掉吗?为了让你的2019年过得充实,不虚度,阿里云云栖社区 联合 华章图书 为大家带来...

云栖社区 468

阿里P7大牛整理!mysql创建用户并授权建表

前言 统一说明一下,楼主是研究生,一般的985毕业,之前在工作了6年,做过的大项目数不胜数, 比如再造淘宝项目落地实战,某滴网约车项目,多人在线即时对战网游服务器,和家云服务平台,前后端分离某喵微信商城,亿级流量多级缓存平台,亚马逊电商个性化推荐系统,IOT流云式平台,阿里巴巴中台实战,年初跳槽后去阿里面试6轮之后定级是P6。 一面: 个人介绍加项目介绍20分钟 微服务架构是什么,它的优缺点? ACID CAP BASE理论 分布式一致性协议,二段、三段、TCC,优缺点 RPC过程

m0_56255097的博客 111

定日镜场优化建模:从太阳轨迹到接收器热力学的全链路物理建模

定日镜场优化本质是光热电站系统级建模问题,核心在于将太阳运动学、反射几何学与热力学过程统一为可计算的多物理场耦合模型。其原理依赖高精度太阳位置算法(如SPA)、镜面结构变形补偿及接收器瞬态热-流-固耦合分析,技术价值体现在提升能量收集效率与设备寿命的双重平衡。典型应用场景涵盖塔式光热电站镜场布局设计、全年逐时功率密度分布预测及运维策略量化决策。本文聚焦‘物理建模先行’范式,深度融合太阳轨迹建模与镜面反射几何两大热词,强调从坐标系转换、向量约束构建到工程约束嵌入的完整落地链条。

weixin_30471561的博客 511

「技术人生」专题第1篇:什么是技术一号位?

技术一号位系列文章介绍 研发人员经过一段时间的成长和积累(3-5年),往往需要带领团队或者小组承担更大的责任。很多扮演了 teamleader (TL)角色的“管理新人”,在带人做事遇到困难的时候会陷入纠结:要不要放弃这个发展路线继续做一个单打独斗的技术“老人”?特别是在一些环境中,管理新人本身面临着陌生的领域和挑战,如果没有领路人,单纯依靠自己去实践感悟,往往会走很多弯路。 所以本文作者结合多年实践经验,以及结合很多经典理论的输入,总结出了“技术一号位是什么”、“普通研发人员如何一步步成长..

阿里巴巴中间件 689

「技术人生」第2篇:学会分析事物的本质

技术一号位不是岗位,更多的是技术人员在公司中做事的一种心态,这个系列的文章适合所有想要对日常工作“知其然更知其所以然”的技术人,借助理论工具的指引,结合自己的实践经历,悟到自己的收获,从而...

阿里巴巴中间件 513
上一篇: 如何取每个分组中的前几项输出
下一篇: 【阿里巴巴中台—模型设计】模型分层和原则
DM_Source
博客等级 码龄9年 33粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值