数仓OLAP基础知识

原创

已于 2022-02-27 20:04:14 修改 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据仓库

于 2021-05-05 17:39:55 首次发布

本文详细介绍了OLTP（在线事务处理）和OLAP（在线分析处理）的区别，OLTP主要处理简单的增删改查操作，而OLAP用于复杂的数据分析。MySQL适合OLTP，但处理OLAP效率较低。数仓中的数据通过ETL流程从结构化、半结构化和非结构化数据源获取，并以多维模型组织，便于进行复杂的分析查询。数据立方体支持钻取、上卷、切片和切块等操作，提供高效的数据分析能力。

1. OLAP与OLTP的区别？

OLTP(Online transaction processing):在线/联机事务处理。典型的OLTP类操作都比较简单，主要是对数据库中的数据进行增删改查，操作主体一般是产品的用户。

OLAP(Online analytical processing):指联机分析处理。通过分析数据库中的数据来得出一些结论性的东西。比如给老总们看的报表，用于进行市场开拓的用户行为统计，不同维度的汇总分析结果等等。操作主体一般是运营、销售和市场等团队人员。

单次OLTP处理的数据量比较小，所涉及的表非常有限，一般仅一两张表。而OLAP是为了从大量的数据中找出某种规律性的东西，经常用到count()、sum()和avg()等聚合方法，用于了解现状并为将来的计划/决策提供数据支撑，所以对多张表的数据进行连接汇总非常普遍。

为了表示跟OLTP的数据库（database）在数据量和复杂度上的不同，一般称OLAP的操作对象为数据仓库（data warehouse），简称数仓。数据库仓库中的数据，往往来源于多个数据库，以及相应的业务日志。

2. MySQL等OLTP数据库能处理OLAP业务吗？

MySQL一般作为OLTP数据库使用，也能执行一些OLAP操作，但这不是MySQL擅长的领域。虽然OLTP和OLAP都是通过SQL来执行，但SQL语句只是描述了我想要什么，而并没有说明应该怎么做（不考虑hint等），即确定最优的执行计划。由于OLTP操作比较简单，所涉及的表也少，因此不需要相应的数据库具有强大的执行优化能力，比如说MySQL在查询优化这块就比较弱，但这其实没有给它的大规模普及使用造成多大伤害。

当然，MySQL也在快速进步，尤其是最新的8.0版本，在查询优化模块添加了很多众望所归的功能特性，包括窗口函数，通用表达式