19、数据偏差分析：从概念到实践

数据偏差分析：从概念到实践

1. 缺失数据处理与偏差影响

在数据处理过程中，若直接删除所有包含缺失数据的记录，可能会导致严重的偏差。以一个数据集为例，如果这样操作，20 - 40 岁年龄段的人群可能几乎没有数据代表。尽管记录数量可能仍然较多，但参数空间会出现空缺或数据密度极低的区域。

是否删除缺失数据的决策，取决于数据分析的目的以及对数据领域的假设。如果年龄不是问题的重要方面，这种处理方式可能影响不大；但如果认为年龄是重要的自变量，删除这些数据可能不是可行的方法。

2. 样本偏差的类型

样本偏差主要有两种类型：
- 观测分布与实际领域分布不匹配 ：需要参考其他数据源或凭借自身领域知识来检测样本中的这种偏差。
- 多变量之间的趋势显示偏差 ：要思考检测到的“趋势”是数据中的真实现象，还是数据收集或整理过程中的人为产物。

3. 理解偏差的本质

在统计学和人类科学中，偏差是一个重要概念。从最中立的统计意义上讲，偏差指的是数据集不能准确代表其潜在的所有可能观测的总体。实际上，我们往往难以明确界定总体的范围，因为总体的定义常与数据收集技术相关。

例如，幸存者偏差就是一种认知错误，即假设我们现有的观测数据能代表总体。在数据收集过程中，我们通常只能观察到能看到的内容，就像在路灯下找钥匙，只在可见度好的地方寻找。这种情况在数据收集和分析中很常见，即使在看似与人类无关的领域，如宇宙中恒星类型的分类，我们的观测也会受到视角的限制，存在视角偏差。

4. 合成数据示例分析

为了检