14、CHAID：填补缺失值的有效方法

CHAID：填补缺失值的有效方法

在数据分析领域，处理包含缺失值的数据是一个常见且棘手的问题。几乎所有标准统计分析都要求数据完整才能得出可靠结果，而使用不完整数据进行分析必然会产生有偏差的结果。因此，数据分析师们想尽办法来填补数据集中的缺失值。本文将介绍一种名为CHAID（卡方自动交互检测）的替代数据挖掘方法，用于填补缺失数据。

1. 缺失数据问题概述

缺失数据在数据分析中普遍存在，很少有数据集完全没有缺失值。填补缺失数据的目标是恢复或最小化因数据不完整而导致的信息损失。

为了说明问题，我们来看一个包含10个个体的随机样本，该样本由三个变量描述：年龄（AGE）、性别（GENDER）和收入（INCOME）。其中存在缺失值，用点（.）表示。在这10个个体中，8个提供了年龄信息，7个提供了性别和收入信息。

处理缺失数据常见的两种方法是可用案例分析和完整案例分析：
- 可用案例分析 ：仅使用感兴趣变量可用的案例。例如，计算平均年龄时，可用样本量（非缺失值的数量）为8，而不是原始的10。计算收入和性别的均值时，分别使用两个不同的可用样本，样本量均为7。这种方法的缺点是不同样本的计算会导致样本量不等，给比较分析带来困难，并且多变量统计估计容易出现不合理的值。
- 完整案例分析 ：只使用所有变量都存在的案例。对于上述样本，完整案例分析仅包含5个案例。这种方法的优点是简单，可直接应用标准统计分析；缺点是丢弃不完整案例会导致信息损失。

此外，还有虚拟变量调整方法。对于存在缺失数据的变量X，使用两个新变量X_filled和X_dum来替代：
- 若X不缺失