25、边缘AI项目中的数据处理与数据集构建

边缘AI项目中的数据处理与数据集构建

1. 特征工程与数据预处理

在开发过程中，尽早开始特征工程是非常有益的。可以考虑将数值进行组合，例如执行传感器融合，同时预计算DSP算法以加快训练速度。虽然在开发后期可能会对特征工程进行迭代，但越早开展这项工作越好。

2. 数据分割

2.1 分割的必要性

AI项目的工作流程涉及算法开发和评估的迭代过程。为了适应这个迭代工作流程，将数据集分割成训练集、验证集和测试集是很重要的。

2.2 各分割集的用途

分割集	用途
训练集	直接用于开发算法，通常是训练机器学习模型
验证集	在迭代开发过程中评估模型，每次开发新的迭代时，根据验证数据集检查性能
测试集	保留到项目的最后，用于最终检查模型在未见过的数据上的性能

2.3 检测过拟合

通过比较模型在训练集和验证集上的性能来检测过拟合。例如，计算分类模型在每个分割集上的准确率：
- 训练准确率：95%
- 验证准确率：94%
如果这两个数值相近，说明模型能够将从训练集学到的知识应用到未见过的数据上，具有泛化能力。但如果验证集上的准确率