15、数据仓库存储规划与数据库配置全解析

数据仓库存储规划与数据库配置全解析

1. 存储容量估算

在基础设施建设中，磁盘空间的采购至关重要。完成数据库设计后，我们就可以对所需的存储容量进行估算了。具体步骤如下：
1. DDS 大小估算 ：通过计算事实表和维度表的大小来确定 DDS 的规模。以产品销售事实表为例，它包含 8 个 int 列、1 个 decimal 列、10 个 money 列和 3 个 datetime 列。根据各数据类型的字节数，可算出每行大小为 141 字节，考虑到未来可能添加的列，预留 50%的空间后变为 212 字节。若源系统显示平均每天有 500,000 笔销售，为应对增长设为 600,000 笔，计划采购两年的存储容量，那么该事实表的大小为 86GB。
2. NDS 大小估算 ：计算方法与 DDS 类似，先算出每行大小，再通过查询源系统估算行数。若有多个源系统，需考虑它们之间的重叠情况。例如，源系统 A 的产品表有 600,000 行，源系统 B 的产品表有 400,000 行，其中 250,000 行与源系统 A 重复，那么 NDS 产品表的行数为 750,000 行。
3. 阶段数据库大小估算 ：列出源系统映射中的所有源表，查询源系统确定每行大小和行数。若采用增量提取方法，统计每天插入或更新的行数；若采用“截断并重新加载”方法，则使用全量行数。同时，要考虑可能只从源系统表中获取部分列，以及为备份策略保留几天的数据。例如，销售订单项目表每天更新或插入 900,000 行，考虑两年增长调整为 110 万行，保留 5 天数据，阶段表大小为 5GB。
4. 元数据数据库