7、机器学习中的数据处理与建模基础

机器学习中的数据处理与建模基础

在机器学习领域，数据处理和建模是至关重要的环节。下面将详细介绍数据可视化、数据处理步骤以及机器学习建模的相关内容。

数据可视化

数据可视化是理解数据关系的重要手段，常见的可视化方法有箱线图、密度图和散点图。

箱线图

以泰坦尼克号乘客数据为例，箱线图可用于探索乘客支付票价与生存结果之间的关系。原始票价分布高度偏斜，许多小值和少数大异常值使得差异难以直观呈现。通过对票价进行平方根变换，差异变得明显，支付较高票价的乘客更有可能存活。因此，票价应纳入模型，期望机器学习模型能发现并利用这种正相关关系。

密度图

当输入变量为分类变量，响应变量为数值变量时，密度图可用于可视化两者之间的关系。以汽车每加仑英里数（MPG）数据集为例，该数据集包含1970 - 1982年大量汽车的MPG以及汽车的属性，如马力、重量、产地和车型年份。通过绘制MPG与产地（美国、欧洲或亚洲）的密度图，可以明显看出亚洲汽车的MPG往往较高，其次是欧洲汽车，美国汽车最低。因此，产地应是模型中的重要预测因素。此外，密度曲线中的一些次要“凸起”可能与不同类型的汽车有关，需要进一步探索以进行特征工程。

散点图

散点图是可视化两个数值变量之间关系的简单且常用工具。在汽车MPG数据集中，绘制汽车重量与MPG、车型年份与MPG的散点图，可以发现输入特征与汽车MPG之间存在明显的关系。汽车重量与MPG呈非线性递减关系，车型年份与MPG呈线性递增关系。这表明这些输入特征对预测MPG很有用。

数据处理步骤

在机器学习中，训练数据的处理包括以下重要步骤： <