27、工业数据准备与处理全解析

工业数据准备与处理全解析

1. 数据集代表性与异常检测测试

工业工厂的工作情况每天或每个季节都会有所不同，因此数据集应包含所有可能模式的代表性样本。当没有真实异常示例来构建测试数据集时，测试异常检测系统会颇具挑战。此时，可能需要模拟可能的变化，以确定系统是否能检测到这些变化。在工业工厂中，可以通过故意让机器以异常方式运行或模拟故障来实现这一点。也可以创建引入潜在异常的合成数据，例如修改标称输入以模拟各种变化。这一切都需要领域专家的参与。

不建议部署未在真实世界数据上进行测试的系统。只有在像预测性维护这样严格受限的场景中才可以这样做，并且利益相关者应该清楚地认识到系统的有效性尚未得到证明。部署后，需要进行一段时间的严格审查和评估，以确保模型性能良好。即便如此，也应尽量避免这种情况。在许多情况下，将问题分解为更小的问题（例如，识别可能导致灾难性故障的已知潜在故障）可能更容易获得平衡的数据集。

2. 特征工程

大多数边缘AI项目都涉及一些特征工程工作，这可能像特征缩放一样简单，也可能涉及极其复杂的数字信号处理（DSP）算法。由于机器学习模型和其他决策算法是基于特征而非原始数据运行的，因此特征工程是数据集准备的重要部分。特征工程将由迭代应用开发工作流程指导，但在数据集准备阶段建立特征基线是必要的。

进行一些初始特征工程可以让你从特征的角度探索和理解数据集，而不仅仅是原始数据。在这个阶段进行特征工程还有其他重要原因：
- 缩放值，使其可以作为机器学习模型的输入。
- 组合值，可能用于执行传感器融合。
- 预计算DSP算法，使训练运行得更快。在训练过程中，机器学习模型会多次接触整个数据集。预计算和缓存DSP结果可以避免