数据仓库,顾名思义是存放数据的仓库。既然是仓库,那么里面就有隔间,不同的隔间存放不同的物品,数据仓库也是如此。不同公司的数据仓库,不同的架构,下面我来谈谈我自己对数据仓库架构的理解。
首先,我们需要建立一个“仓库”,数据仓库所对应的就是数据库。我们根据我们数据仓库的数据量以及所应用的场景选择不同的数据库,比如数据数据量比较打我们可以选择gp、HIVE或者Hbase等分布式数据库;如果数据不多,就可以选择普通的像mysql等数据库。
其次,我们说的仓库的隔间,对应于数据库的模式,不同的模式下存放不同的数据。我所理解的结构就是为:ODS、EDW和DM,也就是贴源层、主题模型层、共性加工层以及集市层。每一个层对