4、机器学习中的数据探索与标注

机器学习中的数据探索与标注

1. 数据探索基础

在进行机器学习模型训练之前，理解数据及其特征之间的相关性至关重要。我们可以使用 Pandas 和 matplotlib 对数据集进行分析。通过这种方式，我们能够洞察数据中的模式和规律，为后续的原始数据标注规则制定提供依据。

1.1 数据聚合与函数复用

我们可以使用 groupby 和 mean 等方法对列和分类值进行聚合操作。为了提高效率，还可以创建可复用的函数，只需调用这些函数并传入列名，就能得到一个或多个列的聚合结果。

1.2 快速数据探索

使用 ydata-profiling 库可以实现快速的数据探索。只需一行 Python 代码，就能对数据进行详细分析，生成包含每个变量统计信息、缺失值、相关性、交互作用和重复行的详细报告。

1.3 异常值发现

通过绘制图表，我们可以发现数据中的异常值。例如，在年龄数据中，大于 80 岁的值可能就是异常值。

2. 数据标注的必要性

在现实世界的用例中，并非所有数据都有标签。然而，为了训练机器学习模型和微调基础模型，我们需要准备带标签的数据。手动标注大量数据或文档既繁琐又昂贵，而且将私人数据与组织外部的众包团队共享可能存在安全风险。因此，通过编程方式对数据进行标注是自动化数据标注并快速标注大规模数据集的必要手段。

2.1 编程式数据标注的方法

编程式数据标注主要有三种方法：
1. 创建标注函数