DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解

本文介绍了DB(数据库)、DW(数据仓库)、DM(数据集市/数据挖掘)、ODS(操作性数据存储)、OLTP(在线事务处理)、OLAP(在线分析处理)和BI(商业智能)的概念。DB用于支持生产和保持数据的最新状态,而DW保存不同时间点的数据状态,方便统计分析。DM可以指数据集市或数据挖掘,前者关注特定业务应用,后者是从大量数据中提取知识的过程。ODS提供数据变化历史,OLTP处理日常事务,OLAP支持复杂分析,BI则结合统计信息和科学规律辅助决策。数据仓库和数据集市的区别在于覆盖范围和目的,前者为企业级,后者为部门级。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、DB(DataBase):数据库,一般指的就是OLTP数据库,在线事物数据库,用来支持生产的。DB保留的是数据信息的最新状态,只有一个状态!

2、DW(Data Warehouse):数据仓库,保存的是数据在不同时间点的状态,对同一个数据信息,保留不同时间点的状态,便于我们做统计分析。

3、关于DM,目前网上有两种说法,一说数据集市(Data Mart);一说数据挖掘(Data Mining),百度百科给出的是数据挖掘的概念,我这里将这两种说法都做了解释:

DM(Data Mart):数据集市,以某个业务应用为出发点而建立的局部DW,DW只关心自己需要的数据,不会全盘考虑企业整体的数据架构和应用,每个应用有自己的DM。

DM(Data Mining):数据挖掘,又称为数据库中的知识发现(Knowledge Discovery in Database, KDD),就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,简单的说,数据挖掘就是从大量数据中提取或“挖掘”知识。

4、ODS(Operating Data Store):操作性数据仓库,最早的数据仓库模型。特点是数据模型采取了贴源设计,业务系统的数据结构是怎样的,ODS数据库的结构就是怎样的。所不同的是ODS数据库可以提供数据变化的历史,所以ODS数据库中每张表都会增加一个日期类型,表示数据的时间点,将每天数据的变化情况都存下来,这样有利于数据的分析。

5、OLTP(on-line transaction processing):联机事务处理,OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。

6、OLAP(On-Line Analytical Processing):联机分析处理,OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

7、BI(Business Intelligence):商业智能,领导,决策者,在获取了OLAP的统计信息,和DM得到的科学规律之后,对生产进行适当的调整,比如,命令超市人员将啤酒喝尿布放在一起销售,这就反作用于DB修改存货数据了——这就是整个B

### 数据仓库分层架构概述 #### ODS (操作型数据存储) ODS 是一种介于源系统数据仓库之间的临时区域,用于接收来自多个源系统的原始交易数据。这些数据几乎不做任何转换处理就被加载进来,保持了最接近源系统的状态。由于其主要目的是为了快速访问最新的业务活动信息,因此通常只保留较短时间内的记录,一般不会超过一个月的时间跨度[^3]。 ```sql INSERT INTO ods_sales_data ( SELECT * FROM source_system.sales WHERE transaction_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 1 MONTH); ) ``` #### DW (数据仓库) 数据仓库是从 ODS 获取经过清洗、转换后的高质量历史数据,并依据特定的主题域构建多维模型来支持复杂的查询分析需求。这里的数据具有较高的稳定性一致性,可以追溯多年的历史变化趋势,适合长期保存并供企业内部各部门共享使用。与 ODS 不同的是,DW 中的数据往往会被定期归档而不是简单删除,从而确保能够满足长时间范围内的数据分析要求[^1]。 ```sql CREATE TABLE dw_customer_transactions AS WITH cleaned_ods_data AS ( SELECT DISTINCT customer_id, product_id, SUM(amount) as total_amount FROM ods_sales_data GROUP BY customer_id, product_id ) SELECT c.customer_name, p.product_description, ct.total_amount FROM customers c JOIN products p ON c.id = p.customer_id JOIN cleaned_ods_data ct ON c.id = ct.customer_id AND p.id = ct.product_id; ``` #### DM (数据集市) DM 则专注于某一具体的业务领域或部门,基于 DW 提取出来的高度聚合的信息创建专门的应用程序视图。它更贴近最终用户的实际应用场景,提供了更加直观易懂的结果展示形式,比如报表、仪表盘等。通过这种方式,管理层可以直接获取所需的关键绩效指标(KPIs),辅助日常运营管理战略规划决策过程[^2]。 ```sql CREATE VIEW dm_monthly_sales_report AS SELECT EXTRACT(YEAR_MONTH FROM sale_date) AS year_month, region, SUM(sales_value) AS monthly_sales FROM dw_customer_transactions GROUP BY year_month, region; ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值