8、机器学习中的结构化与非结构化数据处理

机器学习中的结构化与非结构化数据处理

一、机器学习概述

机器学习主要分为无监督学习、有监督学习和强化学习。无监督学习旨在不预先知道结果的情况下，在数据中发现模式，包含聚类、降维和异常检测算法。有监督学习利用标记数据构建模型，对新数据进行预测，包括分类算法（预测数据点所属类别）和回归算法（基于输入特征预测数值）。强化学习则通过一个智能体与环境交互并因采取行动而获得强化（奖励）来学习模式。

二、结构化数据与非结构化数据

2.1 结构化数据

结构化数据具有固定的数据结构，便于模型处理。数据接收时结构固定，不会随时间或多个数据点变化。每个数据点可视为固定大小的向量，向量的每个维度或行代表一个特征。

常见的结构化数据示例如下：
- 时间序列数据 ：如传感器读数，在不同时间间隔获取相同的向量数据点，时间戳是唯一标识符。
- 表格或列数据 ：如金融机构的贷款历史记录，通常建议有唯一键（如客户 ID 或贷款 ID），以便快速搜索。

结构化数据在训练和预测时，特征可直接映射到数据的列。不过，可能仍需进行数据清洗，例如去除质量不佳的数据点。其他结构化数据还包括点击流、网络日志和游戏数据等。

2.2 非结构化数据

非结构化数据的特点是数据点不遵循固定结构。常见的非结构化数据类型有图像、视频、文本和音频等。图像可能以像素强度值数组形式存在，文本可能采用 ASCII 等特殊编码，声音可能是一组压力读数。由于没有固定结构，难以直接从数据中提取有意义的信息。

处理非结构化数据通常有两种