本文将模拟一个数据仓库系统,其中有用户数据,产品数据以及订单数据。根据这些数据结构建立多维数据集,并且以增量更新的方式对其进行处理。
之所以强调增量的方式,是考虑到事实表中数据的增长,假设以后增长到几十亿,全量处理就变得很不现实,所以方案中着重演示以增量方式处理多维数据集的方案。
增量处理多维数据集的关键是要将事实数据分为两部分处理,一个是增量事实表,一个是历史事实表,多维数据集第一次处理历史事实表中的数据,以后每次周期性的处理都是处理增量表中的数据。
本文中提及的SQLServer和Visual Studio都是2008版本,2005版本同样也适用。
数据假设:一张用户表,一张产品表,一张订单表,订单里记录的是谁买了什么。多维数据集统计的需求就是根据订单统计谁买过什么。
首先,建立数据仓库,在数据引擎下新建BIDemo库。
接下来建立用户表,结构如下:
此外还有产品表:
以及历史订单表和建立增量订单表,它们的结构是一样的:

本文演示如何在数据仓库系统中,使用增量方式处理不断增长的多维数据集。通过创建用户、产品和订单表,模拟数据仓库,然后在SQL Server 2008中使用SSIS和SSAS进行数据处理。增量处理的关键是区分历史事实表和增量事实表,通过SSIS包执行数据迁移、维度和cube处理,确保在业务系统无数据变更时进行。



最低0.47元/天 解锁文章
3347

被折叠的 条评论
为什么被折叠?



