m0_54115636的博客

基本概念：区分OLTP和OLAP的不同 根据OLAP系统展开 1. OLTP系统建模方法 • OLTP（ 在线事务处理） 系统，业务数据库都是这种系统，主要操作是随机读写 • 为了保证数据一致性、 减少冗余， 常使用关系模型（ER模型，原则是拆分的越细越好，减少冗余），使用三范式规则(3NF)来减少冗余 2.ROLAP系统建模方法 Ø OLAP（在线联机分析） • OLAP系统， 主要操作是复杂分析查询； 关注数据整合， 以及分析、 处理性能 • OLAP根据数据存...

ETL 1.ETL简介 ●将数据从业务数据库经过抽取(extract) 、转换( transform)、加载(load) 至ODS层的过程 ●整个ETL的实施占的工作量非常大，基本占整个数仓工作的70%。ETL做好了才能进行后续的数据分析。 ➢数据抽取(Extraction) ●抽取的数据源可以分为结构化数据、非结构化数据、半结构化数据 ➢抽取方式 ●数据抽取方式有全量同步（初始化装载）、增量同步（数据库只需要第一次全量，之后增量就可以了）两种方式 ●全量同步会将全部数据进行抽取，一般用

一、数据仓库简介 一、为什么有数仓 1、业务数据存在数据库里面：如MySQL、Oracle、SQL Server里面。但业务数据可能形成挤压，产生大量冷数据，为了避免对业务数据库产生影响，需要将冷数据转移到数据仓库。 2、将历史数据转移到数据仓库，不仅可以减少业务数据库压力，还可以进行数据分析 3、建立数据仓库，使用专门的数据抽取系统，将数据抽取出来，统一各个部门数据，开放接口。数仓面向数据分析，业务数据库面向业务系统 二、什么是数仓 数据仓库(Data Warehouse，DW).