16、数据异常检测与缺失值处理全解析

数据异常检测与缺失值处理全解析

1. 异常检测概述

异常检测存在两种不同且大多相互独立的概念。安全和密码学研究人员关注的异常，往往代表着欺诈、伪造和系统入侵企图。这些异常是由不法分子刻意制造，在正常数据模式中较为隐蔽，难以察觉，并且存在着数据造假者与检测者之间的对抗。

而我们日常关注的异常检测，是要找出数据在收集、整理、传输和转录过程中出现的问题。比如仪器读数错误、数据重新编码时数值被系统性改变、部分数据使用了错误的度量单位等。这种广泛的检查偶尔可能会发现恶意行为，但更多时候只是检测到错误和可能的偏差。

异常检测与数据质量和值插补密切相关。异常通常是单个可能错误的数据值，而数据质量更侧重于从整体上查看数据集的模式以发现问题。当检测到异常时，有时用更可能的值进行插补比直接丢弃观测值更合理。

整个数据处理过程大致可分为一系列步骤：首先寻找异常并标记为缺失；接着查找数据集更系统的属性并进行修复；最后对初始缺失或因检测到异常而标记为缺失的数据进行插补或丢弃。在进行这些步骤时，必须仔细编码和记录数据处理管道的每一步，以确保可重复性。

在开始具体的异常检测和缺失值处理之前，需要运行标准的设置代码：

from src.setup import * 
%load_ext rpy2.ipython 

library(tidyverse) 
require("RPostgreSQL") 

2. 缺失数据的表示与问题

2.1 哨兵