19、工业物联网数据处理与架构设计：从数据到决策

工业物联网数据处理与架构设计：从数据到决策

一、数据处理基础：开启数据之旅

1.1 数据消息增强与分析开端

在工业物联网（IIoT）领域，一个增强型的数据消息是良好的开端。例如，有如下数据示例：

{
    "datetime":"2022-04-28T05:55:19",
    "timestamp":1651125319,
    "current":274,
    "temp":43,
    "tempF":109,
    "rated_insulationclass":"B",
    "rated_servicefactor":"1.15",
    "rated_rpm":"2900",
    "rated_voltage":"460",
    "rated_horsepower":"150",
    "rated_current":"278",
    "rated_temp":130
}

随着新传感器或边缘集成的完成，我们可以不断添加更多测量数据。此时，我们可以开始进行一些分析，探索如何随着数据的演变来使用它。这也有助于 IT 人员与 OT 人员协作，确定哪些测量数据有意义，以及应关注哪些异常情况。

1.2 消息重新处理

值得一提的是，物联网分析（IoT Analytics）允许在进行更改时重新处理消息。这尤其在项目初期非常有用，当我们增强数据管道时，可以重新处理管道中的数据，并即时更新精选数据。

1.3 实际数据收集

当一切准备就绪，我们就可以开始收集实际数据。即使是操作人员，收集真实系统的数据也可能会让他们大开眼界，因为这能让他们了解设备的正常运行状态，一旦体验过，就很难再回到没有数据的状态。

二、精选消息的编目与查询

2.1 数据存储与编目

处理后的数据存储在 S3 中，形成精选数据，可用于更深入的分析、机器学习（ML）或与外部系统的数据结合。这些消息存储在定义良好的文件夹结构中，我们可以将其作为维度，在查询时帮助定位所需数据。

不过，现有的文件夹或分区结构相对简单，仅适用于一组特定设备。在企业范围内，我们应考虑采用更统一的时间序列数据命名约定，以便在工厂和工厂内的区域之间构建数据结构，提供更详细的数据设计。

文件以压缩形式存储，每个文件包含一条数据记录。理想情况下，我们可以按分钟或其他间隔对多个记录进行分组压缩，并使用更适合实时分析的数据结构。目前我们选择的是 JSON 格式，但如果将文件批量分组，可能需要转换为 Parquet 格式，这是一种列式格式，可实现更快的数据文件查询。

2.2 AWS 服务集成

为了进一步处理和分析数据，我们将结合多个 AWS 服务，具体步骤如下：
1. AWS Glue 数据爬取与编目 ：我们的消息以平面文件形式存储在 S3 的文件夹结构中，这种格式不利于确定和查询数据。AWS Glue 可以遍历我们定义的文件夹，识别其中的数据。设置 Glue 数据爬虫时，我们以顶级文件夹为起始路径，将所有子文件夹作为数据的识别维度，这样可以根据序列号、UID 以及数据收集和处理的日期等方面进行查询。识别的信息存储在 Glue 数据目录中，并且配置为在检测到消息结构或文件夹层次结构发生变化时更新定义。Glue 具有内置的 JSON 分类器，对于简化的 JSON 结构，爬虫可以轻松进行分类和识别。对于更复杂的数据结构，我们还可以创建自定义分类器。最终，Glue 会在数据库中定义一个与爬虫同名的表，并根据文件夹结构添加一组分区。此外，Glue 菜单中的 ETL 功能可用于数据的转换、移动和增强，以便进行额外分析或供其他利益相关者使用。
2. 使用 Amazon Athena 查询数据 ：AWS Glue 帮助我们识别和编目数据，并为数据元素施加结构。现在，我们可以使用 Amazon Athena 查询数据，了解系统的更多信息。Athena 是迈向使用 Amazon QuickSight 进行可视化分析的一步。Athena 可以连接到 Glue 数据目录，使用标准 SQL 构造查询并显示结果。如果这是首次查看数据，我们可以进行一些初步分析，识别数据或处理过程中可能存在的问题。如果数据看起来基本干净，就可以将其提供给其他用户进行进一步分析，并添加商业智能（BI）功能。

2.3 Amazon QuickSight 可视化与分析

Amazon QuickSight 是一款 BI 工具，它与 Athena 配合良好，可用于对企业系统和数据源中的数据进行 BI 分析。使用 QuickSight 时，我们可以按照以下步骤进行操作：
1. 创建数据集 ：以 Athena 为数据源创建数据集。在创建过程中，我们需要注意识别每列的数据类型（如整数、日期时间或字符串），也可以修改或删除数据源中的列。这一步非常重要，因为它有助于 QuickSight 后续进行数据分析和绘图。
2. 创建可视化 ：创建可视化的过程主要是将数据字段拖放到正确的 X 和 Y 区域进行可视化分析。QuickSight 自带数十种图表和洞察模板，可帮助我们快速分析导入的数据。例如，通过可视化分析，我们可以看到所有三相的实际电压远低于机器的额定电压，且三相电压相对同步，电机温度也在额定温度范围内，没有长时间超过额定温度。

通过对单个电机的监测和评估，我们不仅关注电压和温度，还需要考虑转速（RPM）、马力和电流等因素。例如，电机的转速或负载增加时，会如何影响温度？电压是否会随着负载的增加而升高，甚至超过额定电压，进而影响温度、增加磨损并缩短设备寿命？这些问题都可以通过数据可视化和分析来深入探讨。

以下是一个简单的 mermaid 流程图，展示了从数据收集到可视化分析的主要流程：

graph LR
    A[数据收集] --> B[数据处理]
    B --> C[AWS Glue 爬取与编目]
    C --> D[Amazon Athena 查询]
    D --> E[Amazon QuickSight 可视化分析]

综上所述，通过以上步骤，我们可以从原始数据出发，经过处理、分析和可视化，最终获得有价值的信息，为决策提供支持。在后续的内容中，我们将进一步探讨工业物联网架构设计的相关原则和技术，以构建可扩展、健壮和安全的解决方案。

三、工业物联网架构设计原则

3.1 架构设计的核心原则

在工业物联网（IIoT）应用开发中，强大的架构是基础。架构设计有五个核心原则，即“五个 S 原则”，具体如下表所示：
|原则|含义|
| ---- | ---- |
|简单性（Simplicity）|优秀的架构设计应使用最少的资源（存储、网络、计算、硬件、软件和服务）来解决特定用例。接口应模块化，而非开放式的，但这并不意味着架构局限于单一应用，失去未来的可扩展性和可延伸性。|
|安全性（Security）|“设计即安全”是当今企业架构的准则。在 OT/IT 集成的环境中，关键资产 24/7 运行以生产商品，必须从底层就设置适当的控制措施，全面应用零信任任何访问（ZTAA）理念。访问应遵循最小权限策略，并持续监控威胁。同时，架构框架应具备一定的可观测性。|
|可服务性（Serviceability）|可服务性强调系统与其他系统接口的互操作性和开放性。数据交换对于价值流的成功至关重要，解决方案应能够打包成服务，并以即插即用的方式在未来的站点复制。重点在于组件之间以自动化和统一的方式进行协作，而不仅仅是数据交换。|
|可扩展性（Scalability）|工业 4.0 解决方案的理念是“着眼大局、从小做起、快速扩展”。架构应具备扩展能力，在需求波动和消费者行为变化的时代，制造价值链应设计为可灵活伸缩，这涉及到优化资源利用以提高效率。|
|标准化（Standardization）|采用工业 4.0 解决方案面临的最大挑战之一是缺乏标准。协议的并行发展和本地化标准阻碍了全球扩张和系统互连。本章介绍的资产管理壳（AAS）是迈向标准化的重要一步。|

3.2 资产管理壳（AAS）与数字服务总线（DSB）

在工业 4.0 的架构设计中，有两个关键概念：资产管理壳（AAS）和数字服务总线（DSB）。
- 资产管理壳（AAS） ：AAS 是迈向标准化的革命性举措，它有助于解决工业物联网中缺乏标准的问题，促进数据的统一和互操作性。
- 数字服务总线（DSB） ：DSB 关注系统的开放性和互操作性，它使得系统之间能够以自动化和统一的方式进行通信和协作，推动数据在不同组件之间的流动。

3.3 机器学习与人工智能的融合

随着工业物联网的发展，机器学习（ML）和人工智能（AI）与物联网的融合成为趋势，为工业机器带来了智能化。通过一个端到端的制造用例，我们可以验证架构框架在设计和部署应用中的价值。在这个过程中，我们可以利用数据可视化和分析的结果，为机器学习模型提供输入，进一步挖掘数据中的潜在信息，实现更智能的决策和控制。

以下是一个 mermaid 流程图，展示了工业物联网架构设计的主要元素和关系：

graph LR
    A[五个 S 原则] --> B[资产管理壳（AAS）]
    A --> C[数字服务总线（DSB）]
    B --> D[标准化与互操作性]
    C --> D
    D --> E[机器学习与人工智能融合]
    E --> F[智能工业应用]

四、总结与展望

通过上述对工业物联网数据处理和架构设计的探讨，我们可以看到，从数据的收集、处理、分析到可视化，再到架构设计原则的应用，每一个环节都紧密相连，共同构成了一个完整的工业物联网解决方案。

在数据处理方面，我们利用 AWS 服务，如 Glue、Athena 和 QuickSight，实现了从原始数据到有价值信息的转化。在架构设计方面，遵循“五个 S 原则”，引入 AAS 和 DSB 等概念，为构建可扩展、健壮和安全的工业物联网应用提供了指导。

未来，随着工业物联网技术的不断发展，我们可以进一步探索边缘计算、大规模数据处理和机器学习在工业场景中的应用。例如，在边缘设备上进行实时数据处理和分析，减少数据传输延迟；利用大规模数据处理技术处理海量的工业数据，挖掘更多的潜在价值；通过机器学习算法实现设备故障预测和智能控制，提高生产效率和设备可靠性。

总之，工业物联网为工业领域带来了巨大的机遇，通过合理的数据处理和架构设计，我们可以充分发挥其优势，推动工业的智能化和数字化转型。

以下是一个简单的列表，总结了我们在工业物联网中需要关注的关键要点：
1. 合理设计数据处理流程，从数据收集到可视化分析，确保数据的有效利用。
2. 采用统一的时间序列数据命名约定，提高数据的可管理性和查询效率。
3. 遵循架构设计的“五个 S 原则”，构建可扩展、安全和健壮的工业物联网应用。
4. 关注 AAS 和 DSB 等关键概念，促进数据的标准化和互操作性。
5. 探索机器学习和人工智能在工业物联网中的应用，实现智能决策和控制。