ODS 和 数据仓库

ADS-B数据站系统 ADS-B数据站系统 --南京牧星人航空科技 适用场景 通过接收各地面站设备汇总过来的目标数据,并进行相应的处理、存储与融合,最终将解析的目标数据按某一固定格式推送至显示终端。 数据通信 支持TCP/IP协议 系统时间性能 系统平均无故障时间(MTBF)应大于10000h,平均故障修复时间(MTTR)应小于0.5h。 监视数据处理功能 a)数据站系统能够接收、处理符合ASTERIX CAT021格式的ADS-B数据。b)数据站系统能够对AD 阅读详情

下面重点介绍ODS及与数据仓库的不同,用以帮助读者思考企业系统的体系架构。本文来自于《数据仓库》的读书笔记以及具体项目中的一些思考。

ODS有多种不同的种类,包括种类1、种类2、种类3、和种类4。种类之间的不同主要是对ODS的更新速度不同。第1种ODS几毫秒更新一次。第2次的更新时间是几小时。第3种大概一夜晚周期地更新。第4种的更新周期非常长(比如对消费者购买习惯进行研究,数据来源于数据仓库)。

ODS一天中的处理时间可以分成不同的种类。一些用来进行高性能的处理,而另一些用来进行较长时间的顺序处理(批处理)。

 

ODS和数据仓库在实现原理上有一些相似之处,它们都处于操作环境之外,都支持DSS处理,都使用集成数据。但更多的不同体现在如下几点:

1.  ODS中所含的历史数据甚少,数据仓库中有大量的历史数据。

2.  ODS有快速的响应时间和升级(数值是实时的),数据仓库不能。

3.  ODS典型的设计是概要记录(XX喜欢喝白葡萄酒),数据仓库是细节型历史数据(XX购买酒所有的记录)。

4.  ODS要求DBMS有对事务集成的能力,数据仓库不需要。

 

         总的来说,ODS是数据仓库的一个配对的体系结构,两者是互补的。比如ODS的使用在网络环境和数据仓库之间建立相关联。ODS从数据仓库中获取数据形成概要记录用以支持网络环境的高性能处理要求。

         ODS可以置于数据仓库之前,作为数据仓库的数据源之一,也可以置于数据仓库之后,接收数据仓库处理之后的数据,或者可以相互连通,但ODS置于数据仓库之内是不合适的。

         Eg:

【转】数据仓库ODS、DW和DM概念区分 今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构     数据中心整体架构 数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用... 阅读详情

相关推荐

浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系

文章背景:相信大部分刚接触上面三个概念的同学,都多多少少会有些迷惑,现在我就给大家简单分析下这三者的关系,希望大家对这三者的概念理解有所帮助吧。本文主要从下面两类关系来叙述上面三者的关系: 数据库(DB)和数据仓库(DW)的区别与联系 操作数据存储(ODS)和数据仓库(DW)的区别与联系 数据库与数据仓库的区别与联系数据库与数据仓库基础概念:数据库:传统的关系型数据库的主要应用,主要是基本的、日常的

Mike_ToUp 2万+

第三节:数据仓库与ODS

1:ods产生背景人们对数据的处理行为可以划分为操作型数据处理和分析型数据处理,操作型数据处理一般放在传统的数据库中进行,分析型数据处理则需要放在数据仓库中进行。但不是所有的数据处理都可以这样划分,换句话说,人们对数据的处理需求并不只有这两类,比如,有些操作型处理并不适合放在传统的数据库上完成,也有些分析型处理不适合在数据仓库中进行。这时候就需要第三种数据存储体系,操作数据存储(ODS)系...

weixin_30520015的博客 214

DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解

1、DB(DataBase):数据库,一般指的就是OLTP数据库,在线事物数据库,用来支持生产的。DB保留的是数据信息的最新状态,只有一个状态! 2、DW(Data Warehouse):数据仓库,保存的是数据在不同时间点的状态,对同一个数据信息,保留不同时间点的状态,便于我们做统计分析。 3、关于DM,目前网上有两种说法,一说数据集市(Data Mart);一说数据挖掘(Data Mining),百度百科给出的是数据挖掘的概念,我这里将这两种说法都做了解释: DM(Data Mart):数据集市,以某个业

weixin_44912627的博客 3006

ODS与DW的区别

      操作数据存储ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。   数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支...

携梦问道的博客 3342

数据仓库和数据集市详解:ODS、DW、DWD、DWM、DWS、ADS

@TOC 数据流向 应用示例 何为数仓DW Data warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,它是一整套包括了etl、调度、建模在内的完整的理论体系。 数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。目前行业比较流行的有:AWS Redshift,Greenplum,Hive等。 数据仓库并不是数据的最终目的地

weixin_42526326的博客 1万+

详解数据仓库和数据集市:ODS、DW、DWD、DWM、DWS、ADS

答:嗯,我是这样理解的,站在一个理想的角度来讲,如果 ods 层的数据就非常规整,基本能满足我们绝大部分的需求,这当然是好的,这时候 dwd 层其实也没太大必要。数据集市(Data Mart),也叫数据市场,数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。该层是在DWD层的数据基础上,对数据做一些轻微的聚合操作,生成一些列的中间结果表,提升公共指标的复用性,减少重复加工的工作。

jane9872的博客 3197

(数据架构)浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系(转载)

文章背景: 相信大部分刚接触上面三个概念的同学,都多多少少会有些迷惑,现在我就给大家简单分析下这三者的关系,希望大家对这三者的概念理解有所帮助吧。 本文主要从下面两类关系来叙述上面三者的关系: 数据库(DB)和数据仓库(DW)的区别与联系 操作数据存储(ODS)和数据仓库(DW)的区别与联系 数据库与数据仓库的区别与联系 数据库与数据仓库基础概念: 数据库:传统的关系型数据库的主要应用...

达中的专栏 1855

数仓知识03_基于ODS的三种模型

一、前言 传统数据库( Database, DB) 在联机事务处理( OLT P) 中获得了较大的成功, 但是对管理人员的决策分析要求却无法 满足, 数据仓库( Data Warehouse, DW) 能把日常业务处理中所收集到的各种数据转为具有商业价值的信息, 从而为企业决策分析提供了强大的技术支持。传统的数据仓库系统是两层的DB- DW 体系结构, 该结构不能涵盖企业所有的数据处理要求, 如:...

清平乐的技术专栏 1179

数据仓库ods层是啥意思_ODS层简介和ODS层设计

1. 引言本篇主要讲述操作数据存储(ODS)系统产生的背景、定义、特点,以及它与数据仓库的区别。在前两篇,笔者介绍了什么是数据仓库?为什么需要数据仓库?数据仓库系统的体系结构是什么?因此可能在读者心里已经形成了企业数据存储的DB~DW两层体系结构的概念,但在实际应用中,并不总是这样,有时候我们可能需要ODS这一系统来搭建DB~ODS~DW三层数据体系,那么什么是ODS?为什么需要ODS?ODS与D...

weixin_39553757的博客 2806

odis工程师说明书

odis工程师说明书,使用方法介绍

STC8H开发(十六): GPIO模拟SPI驱动Ci24R1实现低成本无线遥控

本文详细介绍了如何使用STC8H单片机通过GPIO模拟SPI驱动Ci24R1无线模块,实现低成本无线遥控方案。内容涵盖硬件设计要点、软件驱动开发技巧及实战优化经验,特别适合消费电子产品开发者参考。Ci24R1凭借其高性价比和双模协议支持,成为替代传统nRF24L01+的理想选择。

weixin_30378623的博客 349

浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系【一篇就够】

文章背景:相信大部分刚接触上面三个概念的同学,都多多少少会有些迷惑,现在我就给大家简单分析下这三者的关系,希望大家对这三者的概念理解有所帮助吧。本文主要从下面两类关系来叙述上面三者的关系:数据库(DB)和数据仓库(DW)的区别与联系操作数据存储(ODS)和数据仓库(DW)的区别与联系数据库与数据仓库的区别与联系数据库与数据仓库基础概念:数据库:传统的关系型数据库的主要应用,主要是基本的、日常的事务...

sjmz30071360的专栏 7869

Python金融数据获取工具库之baostock使用详解

在金融数据分析和量化交易中,获取准确及时的市场数据是非常重要的。baostock是一个专门为中国股市数据提供支持的 Python 库,它提供了免费的股票数据接口,用户可以方便地获取股票、指数、基金等各种金融数据。本文将详细介绍baostock库,包括其安装方法、主要特性、基本和高级功能,以及实际应用场景,帮助全面了解并掌握该库的使用。

Rocky006的博客 5343

数据仓库简介-ODS、DW和DM概念区分

一、什么是数据仓库 数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。 数仓的数据来源一般有:日志采集系统、业务系统数据库、爬虫系统等。通过对数据仓库中的数据进行分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。 举例: 对于一个电商App,数据显示对于进入支付页面的用户,只有30%进行了支付,这是一个反常的数据。这个时候产品经理进行分析,发现支付按钮的...

1万+

Python自然语言处理 NLTK 库用法入门教程【经典】

@本文来源于公众号:csdn2299,喜欢可以关注公众号 程序员学府 本文实例讲述了Python自然语言处理 NLTK 库用法。分享给大家供大家参考,具体如下: 在这篇文章中,我们将基于 Python 讨论自然语言处理(NLP)。本教程将会使用 Python NLTK 库。NLTK 是一个当下流行的,用于自然语言处理的 Python 库。 那么 NLP 到底是什么?学习 NLP 能带来什么好处? ...

python函数基础教程 1万+

TSMaster如何用珠海创芯CAN卡实现高效CAN通信(附完整驱动安装指南)

本文详细介绍了如何使用TSMaster软件与珠海创芯CAN卡实现高效CAN通信,包括驱动安装、系统配置、ControlCAN.dll替换及TSMaster集成配置等关键步骤。通过实战指南和故障排除技巧,帮助工程师快速搭建稳定可靠的CAN通信测试环境,适用于汽车电子和工业控制等领域。

weixin_29201859的博客 479

数据仓库ODS、DW和DM概念区分

参考文章:数据仓库ODS、DW和DM概念区分 概念 ODS——操作性数据 DW——数据仓库 DM——数据集市 ODS全称为Operational Data Store,是用来存储多个数据源业务数据的系统,其数据用来支持业务流程或者输入到数据仓库中进行分析。 是操作型数据存储,是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合。ODS是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和OLTP系统的部分特征。 ODS的出现: 系统应用集成中一般对各.

justlpf的专栏 1208

W5500以太网模块官方驱动移植

W5500驱动移植

weixin_42621095的博客 4125

数据仓库ods层是啥意思_数据仓库中的ODS、EDW、和DM层是什么?(系列3)

在第一节内容,提到了数据仓库和数据库的区别,数据仓库作主要面向分析场景的数据库,又进行了“分层”的设计,因此出现了ods层、edw、dm层的设计(也有的公司会使用超过3层的设计模式),其核心都是为了让数据仓库在应对分析场景、业务应用场景时更高效。进入正文:为什么要分层?用一个例子来解释下这事儿:老王家里有个大鱼塘,里面有各种品种的鱼,每天鱼塘中都新增有一万斤鱼可以售卖(不卖的话,他们既不会长大,反...

weixin_40009393的博客 5412

人大金仓的‘影子表’sys_user:搞懂Schema优先级,告别字段不存在的报错

本文深入解析人大金仓数据库中‘影子表’sys_user的Schema优先级问题,帮助开发者解决字段不存在的报错。通过分析Schema搜索路径机制,提供四种解决方案,包括连接时指定Schema、动态调整搜索路径、永久修改用户设置和使用完全限定表名,确保查询准确无误。

weixin_30329623的博客 596

Vue和Vue-Element-Admin(六):集成中的CORS(跨域资源共享)问题

在vue-element-admin登录集成时候碰到跨域资源共享问题,CORS(Cross-origin resource sharing)是浏览器的技术规范,浏览器可以发起跨域请求但Javascript脚本不能,传统的ajax只能获取在同域名下的资源,但Html5允许ajax发起跨域请求,解决方案有:JSONP、Flash、IFrame、CORS。 一、CORS(跨域资源共享)问题 针对vue-element-admin的登录模块的后端接口完成后,前端调用时候出现报错,因为前端的端口是9527而后.

叶子叶来 9614

ods mysql_简述ODS,和数据仓库做简单的比较

这两天看书,发现了和数据仓库相关的还有一个叫ODS的概念,它是企业级的全局数据库,用于提供集成的,企业级一致的数据,包含如何从各个子系统中向ODS抽取数据以及面向主题的角度存储数据。它和数据仓库的主要区别:数据仓库是面向主题的、集成的、随时间变化的、非易失的、用于进行战略型决策的数据集合。ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息...

weixin_29576039的博客 604

A*搜索算法在三维路径规划(避障)中的MATLAB实现与Python实现

A star algorithmA*搜索算法简介A*搜索算法的Python简化代码MATLAB实现启发函数回溯轨迹RRT算法对比A\*算法在三维路径规划中的一些不足 A*搜索算法简介 A*搜索算法是Greedy Best-First算法的改进,因为Greedy Best-First算法只考虑将预估距离(当前节点到目标点的预估距离)作为遴选开节点集的条件。即: priority=heuristic(goal,next)priority=heuristic(goal, next)priority=heurist

ZYunfei的博客 2万+

ODS和数据仓库的区别

ODS和DWH都是DW架构中的一部分 Gartner的定义: An operational data store (ODS) is an alternative to having operational decision support system (DSS) applications access data directly from the database that supports

In-Memory Computing Technology 7521

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

上一篇: 企业数据仓库中代理主键使用
下一篇: 数据仓库数据清洗之码值映射
HitRootCoCo
博客等级 码龄10年 5粉丝 3原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值