8、机器学习中的结构化与非结构化数据处理

机器学习中的结构化与非结构化数据处理

1. 机器学习概述

机器学习主要分为无监督学习、监督学习和强化学习。无监督学习旨在事先不知道结果的情况下在数据中寻找模式，涵盖聚类、降维和异常检测等算法；监督学习利用标记数据构建模型，以对新数据进行预测，包括分类算法（预测每个数据点所属的特定类别）和回归算法（根据输入特征预测数值）；强化学习则使用一个智能体，通过与环境交互并因采取行动而获得强化（奖励）来学习模式。

2. 结构化与非结构化数据的区别

2.1 结构化数据

结构化数据具有固定的数据结构，易于被模型处理。每个数据点可视为固定大小的向量，向量的每个维度或行代表一个特征。例如：
- 时间序列数据 ：如传感器读数，在不同时间间隔获取相同的向量数据点，时间戳是唯一标识符。
- 表格或列数据 ：如金融机构的贷款历史，通常建议有唯一键（如客户 ID 或贷款 ID）以便快速搜索。

结构化数据在训练和预测时，使用的特征直接对应于数据的列。不过，可能仍需对数据进行清理，例如去除质量不佳的数据点。其他结构化数据的例子还包括点击流、网络日志和游戏数据等。

2.2 非结构化数据

非结构化数据的数据点不遵循固定结构，例如图像、视频、文本和音频等。图像可能以像素强度值数组的形式呈现，文本可能以 ASCII 等特殊编码的字符序列进行编码，声音可能以一组压力读数的形式出现。由于缺乏固定结构，难以直接从这些数据中提取有意义的信息。

处理非结构化数据通常有两种常见方法：
- 特征提取 <