23、实时智能工业分析与状态监测解决方案的开发

实时智能工业分析与状态监测解决方案的开发

1. 实时智能工业分析的数据处理流程

在工业数据分析中，要实现目标需要经过一系列特定步骤，下面将详细介绍这些步骤。

1.1 数据摄取

数据摄取是将数据引入平台的入口。该模块主要有两个重要作用：
- 具备扩展性，以满足来自不同数据源（包括关系型/非关系型数据库以及实时数据）的需求。
- 尽快将数据传输到下一个模块进行进一步处理。

此模块能够收集多种格式的数据，如 JSON、RDF、XML 等。采用 Apache Kafka 进行数据摄取服务，Kafka 提供了一组标准连接器，可直接查询相关数据库，遵循传统的 ETL（提取 - 转换 - 加载）模式，同时也有用于摄取实时数据的连接器，这些实时数据呈现出多种交互模式，如请求 - 响应、发布 - 订阅和流式传输。根据底层信息源的性质和数据策略，该模块可以对整个数据集执行完整的 ETL，也可以使用按需 ETL 策略获取部分数据。

1.2 数据预处理

数据预处理的第一步是确定对生产预测重要的相关变量，并选择一组因变量和自变量。提取的数据涵盖了过去三年的时间范围。以下是为生产预测所选变量的详细描述：
| 变量 | 描述 |
| — | — |
| Scrap | 制造过程中报废的单元数量 |
| Rework | （给定容器中）被送回制造操作步骤进行再处理的单元数量 |
| Lead time | 从制造过程开始到结束的总时间，包括任何排队时间 |
| Operation process time | 容器的实际处理时间，包括容器的暂停时间 |
|