5、数据处理：挑战与应对策略

数据处理：挑战与应对策略

1. 处理缺失数据

在数据分析中，要正确回答问题，就必须掌握所有事实。若事实不全就做决策，往往会得出错误结论。数据记录由多个字段组成，每个字段包含用于回答问题的单一事实。若某个字段为空，就无法利用该记录回答问题。

识别数据缺失并非易事，因为这需要深入查看数据，既耗时又要求具备相应技能。通常，算法给出荒谬答案可能是数据缺失的首个线索。

数据缺失可能源于数据收集过程未涵盖所有必要信息。当数据集中某个字段缺失 90% 以上的数据时，该字段就失去了价值，需要将其从数据集中删除，或者想办法获取全部数据。

缺失数据主要有两种类型：
- 随机缺失数据 ：通常由人为或传感器错误导致，数据集中各记录随机出现缺失项，有时简单的故障也会造成此类问题。修复随机缺失数据相对容易，可以使用中位数或平均值作为替代值。虽然数据集并非完全准确，但足以得出合理答案。在某些情况下，数据科学家会使用特殊算法计算缺失值，以提高数据集的准确性，但会增加计算时间。
- 顺序缺失数据 ：通常在出现某种一般性故障时发生，数据集中某一段连续的记录都缺少必要信息，这会使分析结果产生偏差。修复顺序缺失数据非常困难，甚至可能无法修复，因为缺乏周围数据作为参考。若能找到数据缺失的原因，有时可以重建数据；若无法重建，则可选择忽略该字段，但这可能会导致某些问题无法得到准确解答。

下面是处理缺失数据的流程：

graph TD
    A[识别数据缺失] --> B{缺失类型?}
    B --