数据中心建设----数据仓库中粒度的确定

数据仓库的架构与设计 公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个简陋的数据仓库,这里记录一下数据仓库的一些知识。涉及的主要内容有: 什么是数据仓库? 数据仓库的架构 数据仓库多维数据模型的设计 1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。 阅读详情

前面已经讲到了数据仓库中的粒度有关概念,但是当我们在具体的实时过程中应该怎样去确定在建数据的粒度呢,书中也给出了一些指导意见:

  • 一、粗略估计将来数据仓库中数据行数和所需的DASD(直接存取存储设备)数

估计方法

  • 二、规划过程的输入:估计出来的行数和DASD数就是我们做这次规划的依据数据。

规划的思考

  • 三、溢出存储器中的数据
  • 1、将上面估计出来的总行数与下面的表格进行比较,可得出相应的动作

数据行数对应动作

  • 2、数据仓库中的数据增长得十分迅速,不经常使用的数据有时称为睡眠数据或者不活跃数据。而有些数据随着时间的流逝而变旧没人使用,此时将这些数据分离并存储到其他存储介质上是是非有意义的。

  • 3、那么要实现上述的过程,就需要一种监控工具来监控数据的使用情况,以确定哪些数据是活跃的哪些是睡眠的;同时,睡眠数据在海量存储器和数据仓库中的移动也需要一个专门软件(跨介质存储管理器CMSM)的支持。

两种软件支持

  • 四、确定粒度级别
    这一步的开始需要一定的常识和直觉,所以这一步要做的就是进行一次合理的推测。为什么要这样做呢?对于轻度汇总的数据,为了确定合适的粒度级别,唯一可行的方法是将数据放到最终用户的面前,只有当最终用户实际看到了数据之后,才能做出正确的回答,然后在返回去改进,这是一个循环往复的过程。如下图所示:

确定粒度级别

  • 五、选择数据仓库中的数据粒度的另一个重要的考虑因素是理解数据集市将会需要的数据粒度。填充数据集市是数据仓库的工作。不同的数据集市需要不同地看待数据。数据集市看待数据的方式之一是通过粒度的形式。
    存在于数据仓库中的数据粒度,必须是任何数据集市所需要的数据中最小粒度。换句话说,为了合适地填充所有的数据集市,数据仓库中的数据必须在一个所有数据集市所需要的最低水平上。数据仓库中的数据于是成为DSS分析环境的最小公分母。

~本文为《Building the Data Warehouse, 4th Edition 》第四章第一次读书笔记



转载地址:https://www.jianshu.com/p/5c4eecd4317c
来源:简书

大数据开发教程——企业级离线数据仓库项目实战开发 数据仓库,英文名称为 Data Warehouse,可简写为 DW 或 DWH。 数据仓库,是为企业所有级别的决 策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 ​ 1、面向业务的数据库常称作 OLTP (mysql,SQLServer,Oracle)系统,关注增删改事务操作,面向分析的数据仓库亦称为 OLAP(hive,hbase),关注查询分析OLAP的数据分析引擎 -> 阅读详情

相关推荐

数据中心效率提升的最佳颗粒度思考

数据中心是数字时代的信息底座,近年来呈现高速发展的态势,其能耗问题日益严重。为提升数据中心整体使用效率,立足最佳颗粒度设计原则,以分散性制冷系统的最佳颗粒度设计方案为实例,深入分析散热和制冷的精确匹配,由此拓展数据中心设施层面的精细化调整,并提出数据中心算效、水效和碳效方面的架构设计、工况选择和能源选择等最佳颗粒度思考。排放量数据中心消费的购入电力、热力所对应的排放量、核算边界内所有生产系统的天然气燃烧排放量、核算边界内所有生产系统的柴油燃烧排放量之和。分散性的制冷系统颗粒度设计将成为提升能效的主要趋势。

weixin_70923796的博客 270

数据仓库--粒度与技术

数据仓库中数据的恰当粒度是数据开发者需要面对的一个重要的问题,粒度确定得合理,设计和实现中其余方面就可以进行得非常顺畅。

a1473227656的博客 471

【大数据技术干货】(还不懂数仓,数据中心?看这一篇就够了!)在实际的开发生产中,让你了解企业级数据中心整体架构(DB+ETL+ODS+DW+DM)的各个层次的过程详解,数据联系及功能区分

一 企业级数据中心架构 数据仓库的整体架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 二 DB 三 ETL(Extract-Transform-Load) ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下,在BI项目中ET

liuchunhang的博客 1290

三级数据库知识点(十四)

人们采用数据抽取程序从OLTP系统中抽取出数据的主要原因是: 抽取程序方面的性能方面的冲突问题,也使用户可以控制数据 为了解决性能和历史数据的问题,即在不影响联机事务处理系统的前提下,实现一些较为复杂的DSS系统或MIS系统的分析应用,人们开始从OLTP系统中抽取数据,再对抽取出的数据进行处理和分析。 抽取程序从文件或数据库中查找有用的信息,然后再将数据传送到其他文件或数据库中去,供用户分析...

小龙人的博客 1037

数据中心建设方案

随着云计算、物联网、数字城市、智慧城市等信息化的不断发展,新的变化、新的模式不断涌现,对数据中心需求也在不断的提高。这一切都要求数据中心具备新能力,大型化、专业化、集中化、模块化、智能化及绿色化(节能环保)是数据中心的发展趋势。 在数据中心设计应以“安全可靠、技术先进、适度超前、经济实用、统筹兼顾、分步实施”为原则,在建设实施过程中需考虑“先进性、标准化性、可用性、可管理性、节能环保及经济适用等性能: 一个具有可持续发展能力数据中心首先应在规划、设计和建设阶段必须符合国家相关产业政策;符合现行国家、行业及地方相关标准和规范;符合用户的规划要求。 本次网数据中心,应按A类标准并参照北美T3标准设计建造,在选址、建筑物抗震等级、楼层层高、楼板设计承重载荷、供电、供水方面能完全满足本次机房建设要求。 数据中心的建设是一门集建筑、电气设备、计算机设备、安装工艺、网络智能、通讯技术等多方面技术的集成,数据中心的设计与施工的优劣直接关系到机房内计算机系统是否能稳定可靠地运行,是否能保证各类信息互联的无阻。

WPS用户看过来:避开格式错乱坑,用WPS Office完美制作红头文件(2024最新版)

本文详细解析了WPS Office与Word在红头文件制作中的核心差异,提供了2024年最新版的零误差实战指南。从字体处理、页面布局到红头制作关键步骤,帮助用户避开格式错乱坑,确保跨设备显示一致。特别针对WPS用户优化,解决字体丢失、版式错位等常见问题。

weixin_26800111的博客 218

DDR存储颗粒度大小

总结:DDR存储结构,从大到小排列依次是:channel/rank/chip/bank/row/col/cell, DDR/GDDR/HBM DDR/GDDR/HBM请参考文献 1.ddr的层级结构 一个soc或者PC上的ddr都是有很多颗ddr single chip组成的。这么多颗ddr又组成了不同的层级。这些层级从大到小分为: channel->rank->chip->bank->row->col->cell 其中channel->rank-&g

1万+

Ubuntu 24.04 高效部署Slurm集群:从零到生产环境实战

本文提供了一份在Ubuntu 24.04 LTS系统上从零开始部署生产级Slurm高性能计算集群的完整实战指南。内容涵盖网络配置、Munge安全认证、Slurm核心组件安装与配置,并深入讲解了cgroups资源隔离、NFS共享存储、配置无感知模式等生产环境优化技巧,最后通过实例演示如何提交与管理Slurm作业,帮助用户构建高效、稳定的计算平台。

weixin_29213655的博客 565

宽表:数据仓库 - “宽表”之争?

昨天在技术交流群里一个问题引发了激烈的讨论,我决定把它记录下来。 问题如下:DWD 中有宽表么? 作为扫盲文章,基础知识我们再普及一下,先介绍下基础相关概念。 数仓分层(来自:个人理解) ODS、DWD、DWS、ADS 等,具体含义不做解释,数仓分层是大家为了抽象业务,简化计算,从设计上遵循高内聚低耦合的思想,经过漫长积累,业界普遍遵从的逻辑分层。初入数仓行业你可能会被这些东西限制住,但当你融会贯通时就会做到活学活用,代码无分层,心中有...

lquarius的博客 4193

python多线程实现http代理

python多线程实现http代理文章要求1.py socket模块2.py threading模块3.环境搭建3.1设置代理3.2搭建http简单服务器代码分析1.完整代码2.逻辑结构 文章要求 1.py socket模块 socket模块接触后很简单,我实现的是阻塞性的套接字。 需要了解到,连接套接字,监听套接字,和套接字accept()方法的返回值是元组 数据传递过程sock.recv(1024),sock.send()也不需要转换编码,直接以b"二进制流"传输 2.py threading模块 th

qq_43402663的博客 2508

SAP 集成泛微 OA Open API 新建流程申请接口

《SAP ERP 与泛微 OA 的系统集成》系列文章。泛微 Open API 是基于 HTTPS 的 Restful 接口,上篇文章,我已经完成了调用业务接口之前的准备工作,这篇文章我以新建流程申请这个系统集成最重要的接口为例,讲解接口设计、泛微 API 调用的过程、遇到的问题、解决的办法。

SAP李斌,本人承诺所有原创文章均不使用任何AI生成技术,请大家放心阅读。 3557

用户画像数据仓库建设实践

用户画像数据仓库建设实践

爱吃辣条的博客 2280

基于YOLOv8的城市违建识别系统:从数据集构建到UI界面实现

YOLOv8是Ultralytics公司于2023年推出的最新一代YOLO(You Only Look Once)系列目标检测算法。更高效的骨干网络设计改进的锚框机制更精确的损失函数支持分类、检测、分割等多任务YOLOv8特别适合像违建识别这样的实时检测任务,能够在保持高精度的同时实现快速推理。

YOLO 675

数据仓库建设—维度建模

维度建模是DW/BI系统的核心,他是ETL系统的目标、数据库的结构、支持用户查询和制作报表的模型。建模要实现3个主要设计目标,分别是:能尽可能简洁的向用户展示需要的信息;能尽快返回查询结果给用户;能提供相关信息,以便精确的跟踪潜在的业务过程。 维度建模能使任何事情尽可能简单,但绝不是简化。在数据仓库和商业智能中,维度模型是给用户显示信息的首选结构,其比典型的原系统规范化模型更便于用户理解。维度建模中表更少,信息分组为对用户有意义的、一致的业务类别。这些类别称为维度,有助于用户浏览模型,因为可以...

1684

YOLO11改进 | 主干网络 | 添加Hyper-YOLO的MANet混合聚合网络

本文详细介绍了在YOLO11目标检测模型中替换C3k2模块为MANet的具体实现方法。文章首先讲解MANet模块的原理,然后分步骤指导如何在YOLO11中添加该模块,包括代码修改、文件配置和模型注册等关键环节。通过实验对比,改进后的YOLO11_MANet模型在保持8.8GFLOPs计算量的同时,参数数量达到3,820,272,网络层数增加到343层。文章还提供了完整的代码实现和网络结构图,并建议结合其他注意力机制或损失函数进一步提升检测效果。最后推荐了相关的深度学习专栏,包含更多YOLO系列改进方法。

kay_545 660

国科大人工智能原理与算法-2024-第一次作业-雷震老师

1. 反射行动(比如从热炉子上缩回你的手)是理性的吗?它们是智能的吗? 2. 以下的计算机系统在何种程度上是人工智能的实例: - 超市条码扫描器 - 网络搜索引擎 - 语音激活的电话菜单 - 对网络状态动态响应的网络路由算法 3. 为什么进化会倾向于导致行为合理的系统?设计这样的系统想达到的目标是什么?

MatsumotoChrikk 2930

最最最全数据仓库建设指南,速速收藏!

开讲之前,我们先来回顾一下数据仓库的定义。 数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门(Bill Inmon)于1990年在《建立数据仓库》一书中提出,近年来却被愈发广泛的提及和应用,不信看下图: 到底是什么,让一个从上世纪90年代提出的概念,在近几年确越来越热?带着这个...

weixin_37017412的博客 1688

在Android中实现SIM卡的读写操作

在上述代码中,我们创建了一个PhoneStateListener的实例,并重写了onSimStateChanged方法来处理SIM卡状态改变的事件。然后,我们通过调用telephonyManager的listen方法注册了这个监听器,并指定了要监听的事件类型为SIM卡状态的改变。在上述代码中,我们调用telephonyManager的sendUssdRequest方法来发送USSD命令,并通过TelephonyManager.UssdResponseCallback来处理USSD响应和发送失败的情况。

2301_79326510的博客 927

数据仓库相关知识

数据仓库(Data Warehouse) 一、概念 数据仓库是这么定义的:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。 这个定义中有一个定义比较容易含混,那就是“面向主题”。面向主题是指数据仓库围绕一些主题,排除对于决策无用的数据,提供特定主体的简明视图。近年提出的“面向专题”的分析和这个概念混淆的厉害,只能用用户熟悉的业务才能作出解释。 面...

tianzongnihao的博客 1万+

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

数据仓库建设指导说明

元数据可以包括以下内容:数据定义描述数据的结构、格式、模式和约束条件。例如,数据表、字段、数据类型、主键、外键等。数据源和来源:记录数据的来源和数据源的信息,包括数据提供方、数据采集方式、数据传输协议等。数据质量指标:定义和记录数据质量指标和标准,例如数据准确性、完整性、一致性、时效性等。数据变动历史:记录数据的变动历史,包括数据的创建时间、修改时间、版本号等信息。数据访问权限:记录数据的访问权限和安全设置,包括数据的可访问范围、用户权限、角色权限等。

u011047968的专栏 1857

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

数据库与数据仓库区别

在具体学习数据仓库之前先看一下数据中心的整体构架以及数据流向。 DB 是现有的数据来源,可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL 是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程: Extract,数据抽取,也就是把数据从数据源读出来。 Transform,数据转换,把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下,Transform也包含数据清洗,清

Listron的专栏 4356

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

数仓建设生命周期_最最最全数据仓库建设指南,速速收藏!

开讲之前,我们先来回顾一下数据仓库的定义。数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门(Bill Inmon)于1990年在《建立数据仓库》一书中提出,近年来却被愈发广泛的提及和应用,不信看下图:到底是什么,让一个从上世纪90年代提出的概念,在近几年确越来越热?带着这个问题,我们来了解一...

weixin_39937635的博客 796

数仓建设生命周期_最最最全数据仓库建设指南,速速收藏 | 数澜科技

开讲之前,我们先来回顾一下数据仓库的定义。数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门(Bill Inmon)于1990年在《建立数据仓库》一书中提出,近年来却被愈发广泛的提及和应用,不信看下图:到底是什么,让一个从上世纪90年代提出的概念,在近几年确越来越热?带着这个问题,我们来了解一...

weixin_39820136的博客 352

大数据中心成立ppt_大数据中心建设思路ppt课件

PPT内容这是大数据中心建设思路ppt课件下载,主要介绍了国网数据中心概念;数据中心建设任务;数据中心目标架构;数据中心物理架构;数据边界——顶层信息模型;数据中心的建设策略;分析应用演进,欢迎点击下载。西安美林 杨晓辉 国网数据中心概念 数据中心建设任务 数据中心目标架构 数据中心执行架构 数据中心物理架构 数据中心建设的终极目标 企业统一数据模型 数据边界——顶层信息模型 实现最终目标的...

weixin_28836989的博客 447
上一篇: MySQL常用SQL语句大全
下一篇: 数据仓库之数据粒度
With__Sunshine
博客等级 码龄9年 128粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值