13、数据离散化与异常值处理：方法与实践

数据离散化与异常值处理：方法与实践

1. 决策树离散化

决策树离散化在每个节点或区间返回不同比例的观测值。使用 feature-engine 的 DecisionTreeDiscretiser() 进行决策树离散化，该转换器将每个待离散化的变量作为输入来拟合决策树，并根据性能指标优化模型的超参数，以找到最佳分区。它能自动找到最佳的区间数量及其界限，结果可以是界限、区间编号或预测值。

2. 异常值概述

异常值是指在变量中与其他值显著偏离的数据点。它可能源于特征本身的固有变异性，表现为分布中不常出现的极端值（通常在尾部），也可能是实验误差、数据收集过程中的不准确造成的，或者预示着重要事件。

异常值对统计分析可能产生不成比例的重大影响，例如少量异常值可能改变测试的统计显著性方向，或直接影响统计模型参数的估计。一些机器学习模型对异常值敏感，如线性回归；而另一些则具有较强的鲁棒性，如基于决策树的模型。

目前对于什么是异常值没有严格的数学定义，在统计或机器学习模型中如何处理异常值也没有达成共识。如果异常值是由于数据收集有缺陷造成的，丢弃它们似乎是一个安全的选择，但在许多数据集中，准确确定异常值的性质具有挑战性。检测和处理异常值依赖于领域知识和对其对模型潜在影响的理解。

3. 可视化异常值：箱线图与四分位间距规则

箱线图是一种常用的可视化异常值的方法，它基于四分位数提供变量分布的标准化显示。
- 箱线图中的箱体包含第一四分位数（25%分位数）和第三四分位数（75%分位数）之间的观测值，这一区间被称为四分位间距（IQR），计算公式为：$IQ