南山南的Python和大数据学习笔记

传统的关系数据库一般采用二维数表的形式来表示数据，一个维是行，另一个维是列，行和列的交叉处就是数据元素。关系数据的基础是关系数据库模型，通过标准的SQL语言来加以实现。 数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度表、事实表和事实表中的量度都是必不可少的组成要素。         维度：

渐变维度（Slowly Changing Dimension）及其处理方法 要讨论什么是渐变维度，或者缓慢变化维度，就要先说说什么是维度。虽然经常挂在嘴边的词，但解释起来确实有难度，更不要说给出一个概念了。我们平时提到的0维的点，一维的线，二维平面，三维的立体空间已经挺复杂了，撇开不提，我们看看BI领域的维度是什么意思。 个人的理解，维度就是观察数据的不同角度。比如有一个魔方，我们从一个面看是

ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。(1)数据抽取：从源数据源系统抽取目的数据源系统需要的数据;(2)数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工。(3)数据加载：将转换后的数据装载到目的数据源。 　　ETL原本是作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据

1.  什么是数据集市？数据集市与数据仓库的区别？        数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分

讲到数据仓库，很多人就会想到首先按照行业规范和客户需求调研、做源系统数据分析，然后设计主题，最后设计应用所需的事实表、维表；结构上基本分为三层：ODS-DW-DM。从理论的角度来看，数据仓库就是数据驱动的、稳定的、指标统一、能存放所有历史数据的；从需求方的角度来看，能满足他们所有的报表、查询和分析数据需求；从开发人员的角度来看，能够快速、高效、便捷的从数据仓库中取到数据，完成项目开发；他们并不ca