DW中ODS的解释

最新推荐文章于 2025-04-22 09:14:34 发布
转载 最新推荐文章于 2025-04-22 09:14:34 发布 · 655 阅读 · 0

转自：http://zh.wikipedia.org/wiki/ODS


ODS

维基百科，自由的百科全书
跳转至： 导航、 搜索

ODS（英语：Operational Data Store)是一种数据架构或数据库设计的概念，出现原因是来自于当需要集成来自多个系统的数据，结果又要给一或多个系统使用时。

集成来自多个系统的数据，应先创建数据模型（data model）。由于ODS并不属于特定的系统，因此其数据模型的设计应为主题导向式（subject-oriented），实现方法与数据仓库无异。为求快速建置以及呈现来源系统数据，实务上常见许多企业采取的做法是直接将来源系统的数据以类似复制的方式至来源系统以外的数据库，将它视为来源数据的复本，而没有进行真正的数据集成。

数据给多个系统使用的方法，包括可以将其包装成SOA的'服务'、进行分析或报表、也可以再将数据通过ETL的方式传送至其他系统。

相较于数据仓库，ODS较偏向作业（operational）面的用途，通常数据有较频繁的更新以及较短的历史，但这主要是概念上的差异，实际建置时可以创建在同一平台上，由一份数据从事两种性质的服务。

目前数据仓库厂商提出了active data warehouse概念，基本上与ODS概念极为接近，亦即数据仓库厂商认为在其解决方案中除数据仓库外也包含ODS功能。


数据仓库DW、ODS、DM及其区别
清平乐的技术专栏
08-08 1万+
一、基本概念 DW 数据仓库（Data Warehouse）：是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 ODS ODS：是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时...
ODS和数据仓库的区别
weixin_43035213的博客
10-07 1194
ODS 操作型数据存储，存储的是当前的数据情况，给使用者提供当前的状态，提供即时性的、操作性的、集成的全体信息的需求。 ODS作为数据库到数据仓库的一种过渡形式，与数据仓库在物理结构上不同，能提供高性能的响应时间,ODS设计采用混合设计方式。 ODS中的数据是"实时值",而数据仓库的数据却是"历史值"，一般ODS中储存的数据不超过一个月，而数据仓库为10年或更多。 DW 数据仓库存储是一个面向主题...
（数据架构）浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系（转载）
达中的专栏
02-06 1637
文章背景： 相信大部分刚接触上面三个概念的同学，都多多少少会有些迷惑，现在我就给大家简单分析下这三者的关系，希望大家对这三者的概念理解有所帮助吧。 本文主要从下面两类关系来叙述上面三者的关系： 数据库（DB）和数据仓库（DW）的区别与联系 操作数据存储（ODS）和数据仓库（DW）的区别与联系 数据库与数据仓库的区别与联系 数据库与数据仓库基础概念： 数据库：传统的关系型数据库的主要应用...
ODS与DW的区别
携梦问道的博客
05-23 3278
      操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。   数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支...
数仓分层——ODS、DW、ADS
麦当当的博客
05-07 1万+
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
数仓维度建模简析(ODS-DWS)
小道的博客
03-27 2618
一、数仓为什么要分层？   合理的数据仓库分层一方面能够降低耦合性，提高重用性，可读性可维护性，另一方面也能提高运算的效率，影响到数据需求迭代的速度，近而影响到产品决策的及时性。建立数据分层可以提炼公共层，避免烟囱式开发，可见一个合适且合理的数仓分层是极其重要。 二、通用分层设计思路   ODS:操作型数据(Operational Data Store)，指结构与源系统基本保持一致的增量或者全量数据。作为DW数据的一个数据准备区，同时又承担基础数据记录历史变化，之所以保留原始数据和线上原始数据保持一致，方便
数据仓库DW、ODS、DM概念及其区别
weixin_52321674的博客
09-30 875
整体结构 在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向 数据中心整体架构 DB 是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL的是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程： Extract，数据抽取，也就是把数据从数据源读出来。 Transform，数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transfo.
数据仓库简介-ODS、DW和DM概念区分
03-28 1万+
一、什么是数据仓库 数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。 数仓的数据来源一般有：日志采集系统、业务系统数据库、爬虫系统等。通过对数据仓库中的数据进行分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。 举例： 对于一个电商App，数据显示对于进入支付页面的用户，只有30%进行了支付，这是一个反常的数据。这个时候产品经理进行分析，发现支付按钮的...
数仓之ods与dw的区别
不负青春、不负卿
12-27 968
背景知识：在当今这样一个信息技术发展迅速的时代，数据量也在不断的增长，面临这样的压力，总是会有大神提出一些解决方案。比如高层管理人员希望能查看整个公司的发展业绩，数据仓库(Data Warehouse, DW)正是解决该问题的主要方案，随之DW就这样产生了。 可是时代在变，需求也会随着改变，比如保险公司的员工希望提高自己的业绩，拿更多的工资，那么他首先希望的就是能把更多的客户挖进来，其实这其中是...
DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解
weixin_44912627的博客
05-18 2855
1、DB（DataBase）:数据库，一般指的就是OLTP数据库，在线事物数据库，用来支持生产的。DB保留的是数据信息的最新状态，只有一个状态！ 2、DW（Data Warehouse）：数据仓库，保存的是数据在不同时间点的状态，对同一个数据信息，保留不同时间点的状态，便于我们做统计分析。 3、关于DM，目前网上有两种说法，一说数据集市（Data Mart）;一说数据挖掘（Data Mining），百度百科给出的是数据挖掘的概念，我这里将这两种说法都做了解释： DM（Data Mart）：数据集市，以某个业
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
a934079371的博客
11-28 4370
点击上方 "大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群一、数据流向二、应用示例三、何为数仓DWData warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-...
数据仓库
qq_44949002的博客
11-21 1402
答：并行的，dw 层问：那其实对于同一个数据，这两个过程是串行的?ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。概念：是数据仓库的细节数据层，是对STAGE层数据进行沉淀，减少了抽取的复杂性，同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式，将各个专业数据进行集中，明细层跟stage层的粒度一致，属于分析的公共资源。
数仓简介：ODS、DW和DM概念区分
weixin_42508236的博客
03-07 1828
目录ODS——操作性数据DW——数据仓库DM——数据集市2.数据仓库的ODS、DW和DM概念 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 2.数据仓库的ODS、DW和DM概念 概念 定义 特征 个人理解 ODS   &
数据仓库分层解析(详细)
热门推荐
super_mochi1
01-08 1万+
数据仓库分层是一种组织和管理数据仓库的结构化方法，它将数据仓库划分为不同的层次或级别，每个层次具有特定的功能和目的。这种分层方法有助于管理数据仓库中的数据流程、数据处理和数据访问，并提供一种清晰的结构来支持数据管理和分析需求
大数据——一文详解数据仓库概念（数据仓库的分层概念和维度建模详解）
xdx_dili的博客
11-29 2258
大数据——一文详解数据仓库概念（数据仓库的分层概念和维度建模详解）
ODS 介绍
数据源的港湾
09-02 1万+
ODS 概念 ODS是一个面向主题的、集成的、可变的、反映当前细节的数据集合。它主要用于支持企业处理业务应用和存储面向主题的、即时性的集成数据，为企业决策者提供当前细节性的数据，通常作为数据仓库的过渡阶段。 ODS 特点 1 数据不断更新和易丢失，不存储历史数据，只反映当前实时性的信息 2 存储细节性数据，很少有汇总数据 3 支持快速的更新操作，数据刷新频率快 4 ODS一般存
数据集成在ODS项目的应用模式
dinongxu8804的博客
12-22 189
ODS（The operational data store），也叫运营数据存储，是用于支持企业日常的全局应用的数据集合，它是介于DB和DW 之间的一种数据存储技术。从专家给出的定义上来讲，它是一个面向主题的、集成的、当前的并且是可"挥发"的数据集合，它反映了在某一个时间切片瞬间，经营分析系统和外围系统用以相互交换数据的集合，主要用于经营分析系统与外围系统关键数据一致性校验、以及经营...
数据仓库ODS、DWD、DWS、ADS各层介绍
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
04-22 7144
1. ODS（Operational Data Store，操作型数据存储）‌ODS层是数据仓库体系结构的最底层，主要用于存储从各个操作系统采集来的原始数据。它作为数据仓库的临时区域，经过ETL（抽取、转换、加载）过程后，将数据源中的数据抽取、洗净并传输到ODS层。ODS层的主要功能是为后续的数据仓库层（如DWD层）提供原始数据，同时减少对业务系统的影响。2. DWD（Data Warehouse Detail，数据仓库明细层）DWD层是数据仓库的明细层，用于存储详细、完整的数据。
ods和dw区别
最新发布
08-13
### ODS与数据仓库的区别 ODS（操作型数据存储）和数据仓库（Data Warehouse, DW）在数据管理和分析中扮演不同的角色，尽管两者在某些方面有相似之处，但它们在设计目标、数据特性和使用场景上有显著差异。 ODS主要用于支持战术型决策，它是一个面向主题的、集成的、可变的、当前的细节数据集合。ODS的数据处理技术允许接近实时地展示实体的状态，这意味着ODS中的数据是当前的，且能够快速响应业务需求的变化。ODS中的数据是易失的和可更新的，当新的数据流进ODS时，受其影响的字段会被新信息覆盖或更新，除了审计数据外，不保留其他的历史内容。此外，ODS中的数据几乎完全是细节数据，仅具有少量的动态聚集或汇总数据，通常设计成包含事务级的数据，即包含该主题域最低级别的数据。业务用户频繁地直接访问ODS进行日常操作和决策支持[^2]。 相比之下，数据仓库支持战略型决策，它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。数据仓库中的数据是历史的，用于支持长期的趋势分析和决策制定。数据仓库中的数据是静态的，一旦数据被加载到数据仓库中，通常不会进行更新，而是保留历史记录以供分析。数据仓库中的数据经过清洗、转换和整合，形成了一个一致的数据视图，用于支持复杂的查询和分析。数据仓库中的报表通常是在数据集市中完成的，而不是直接在数据仓库中生成[^3]。 ### ODS与数据仓库的架构设计 在实际应用中，ODS和数据仓库可以并行架构设计，形成优势互补。这种架构设计便于扩展，可以解决互联网公司遇到的快速变化、快速开发等特点。特别是对于那些刚刚创建数据团队，数据开发人员紧缺的公司，可以尝试使用这种数据架构解决问题。ODS和数据仓库各自承担不同的职责，ODS负责处理实时或近实时的数据需求，而数据仓库则专注于历史数据的存储和分析[^4]。 ### ODS层的数据仓库建模 在数据仓库项目中，ODS层通常作为数据仓库的过渡层，负责将原始数据从HDFS等存储介质中读取，并进行初步的处理和转换。ODS层的主要作用是将数据放入能够对数据进行操作的框架中，例如Hive。在ODS层，数据保持原貌不做任何修改，起到备份数据的作用；同时采用压缩技术减少磁盘存储空间；创建分区表以防止后续的全表扫描；创建外部表以确保数据的安全性和灵活性。这些措施有助于提高数据处理的效率和可靠性[^5]。 ### 示例代码 以下是一个简单的Hive表创建示例，展示了如何在ODS层创建外部表并使用分区和压缩： ```sql -- 创建外部表 CREATE EXTERNAL TABLE ods_table ( id INT, name STRING, timestamp TIMESTAMP ) PARTITIONED BY (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/user/hive/ods_table'; -- 添加分区 ALTER TABLE ods_table ADD PARTITION (dt='2023-10-01'); -- 使用压缩 SET hive.exec.compress.output=true; SET mapreduce.output.fileoutputformat.compress=true; SET mapreduce.output.fileoutputformat.compression.codec=org.apache.hadoop.io.compress.GzipCodec; ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值