20、SAS数组应用：创建变量与提升ETL效率

SAS数组应用：创建变量与提升ETL效率

1. 数组在数据仓库中的应用场景

在数据仓库中，数组处理具有显著优势。当数据提供者定期提供结构相同的数据集时，数组处理就非常有用。以美国的行为风险因素监测调查（BRFSS）数据集为例，这是一项年度电话健康调查。我们关注调查中询问受访者是否曾被健康专业人员告知患有各种共病的部分。通过使用数组，我们可以创建有助于构建疾病指数的变量，或者减少后续对仓库数据进行疾病分析时的变量数量。

作为仓库提供者，我们可以选择提供可能用于构建指数的变量，方便分析师自行创建指数变量。若想更进一步，我们也可以自己创建指数变量并添加到仓库变量中。

2. 指数变量与简约统计模型

SAS数据仓库的用户包括各类人员，其中统计人员会对仓库中的部分数据进行统计分析。他们通常有研究目标或假设，并可能使用包含仓库数据的回归模型来进行统计测试和回答研究问题。

在使用大数据进行统计建模时，许多分析师追求简约模型，即包含最少变量的模型。构建简约模型的一种策略是使用指数变量，而非指数变量的所有组成部分。这样既能减少模型中的变量数量，又能将变量背后的信息带入模型。

3. 数组处理在BRFSS数据中的适用性

BRFSS是年度调查，问题每年变化很小，特别是关于共病的问题。这意味着托管BRFSS调查数据的SAS数据仓库每年都需要处理这些共病变量，且要确保每次处理方式相同。数组处理在这种情况下非常有用，既能提高SAS编程效率，又能规范ETL规则。

我们使用2018年BRFSS数据集的一个子集，该子集仅包含三个州的记录：
- 佛罗里达州（FL，代码 = 12）
- 马萨诸塞