56、智能工厂项目：知识获取、异常检测与应用实践

智能工厂项目：知识获取、异常检测与应用实践

1. 知识获取

生产控制需要实时语义层，例如汽车工厂装配线、钢铁生产领域或能源领域的智能电表和智能电网分析应用。为遵循日常业务运营的底层逻辑，我们依赖专用语义模型，以支持跨异构数据源的纵向访问。该语义模型，包括语义门户实现和人工参与的知识获取，将为所有生产应用的无缝数据集成奠定基础。

1.1 钢铁生产用例

在钢铁生产中，实施了语义MediaWiki架构。该架构的主要目标是将存储在RDF三元组存储中的静态设施模型，通过语义丰富的MediaWiki页面提供给用户，并与动态执行的业务流程模型无缝结合。在热轧机系统架构中，有两个信息源：数字笔（或智能手机应用上基于笔的交互）和对象内存服务器（OMS），用于访问可存储在简单廉价RFID标签中的OMS内存。这些信息与语义MediaWiki共享，以实时提供热轧机部件或生产线部件的传感器数据。知识门户开发的目标是实现因制造过程中潜在异常事件而进行的特定情况生产步骤调整，即调整过程参数。

1.2 智能机器决策

智能机器的动态行为通过基于知识的决策组件实现。该组件根据特定本体中描述的产品变体和机器能力信息，决定生产过程中要采取的行动。

1.3 语义产品记忆

物联网和智能工厂项目的语义产品记忆基础，得益于低成本、紧凑型数字存储、传感器和无线电模块的发展，使我们能够将数字记忆嵌入产品中，记录异常关键事件。这些计算能力增强的产品可以感知和控制环境、分析观察结果，并与其他智能对象和人类用户通信。RFID和语义门户基础设施支持在装配过程中与数字产品记忆进行交互和控制交互。此外，用户输入数据被转发到相应服务器，执行手写和手势识别（主动用户输入）或传感器检查程序（自动被动传感器输入），结果（如记录的异常）存储在语义MediaWiki的相应XML文档中。

2. 异常检测

描述和控制非线性设备的动态行为需要模型，但这些模型通常不够丰富，特别是当设备具有多个自由度、高维传感器，或嵌入复杂环境（如机器人系统、智能车辆或其他现代参与者 - 传感器系统）时。在这种情况下，故障检测质量会下降：过多的误报（即假警报）使故障检测无用，而过多的漏报（即未检测到的故障）可能会损害系统。

2.1 异常检测方法

我们提出了一种从记录数据创建系统概率向量时间序列模型的方法，并检测相对于该学习模型的异常值。这种检测非常困难，因为异常的概念强烈依赖于领域，“正常”和“异常”之间的边界可能不精确且会随时间演变，异常可能看起来正常或被噪声掩盖，而且收集和标记异常数据非常困难。

2.2 异常检测策略

我们设计了一种无监督方法和数据收集机制，利用人类交互或机器生成的“异常”。通过结合鲁棒主成分分析、组融合Lasso技术和稀疏事件过滤，可以使异常搜索更稳健。

2.3 异常检测架构优化

稀疏方法虽然高效但速度慢，为克服这一问题，我们开发了“Columnar Machine”架构，该架构适合深度学习方案，能利用上述鲁棒异常检测方案中的组结构。同时，我们还开发了用于网络物理系统的理论框架，采用可学习的环境随机模型进行风险管理，该框架符合函数式编程的约束，有利于软件开发、测试和验证。

以下是异常检测的流程：

graph LR
    A[记录数据] --> B[创建概率向量时间序列模型]
    B --> C[检测异常值]
    C --> D{是否异常}
    D -- 是 --> E[记录异常]
    D -- 否 --> F[正常处理]

3. 智能用户界面

物联网主要涉及嵌入日常环境的连接设备，在物联网中，“交互”通常指允许人们监控或配置物联网设备的界面，如移动应用和嵌入式触摸屏。但传统图形界面常导致人类与物联网设备的笨拙共存，因此需要研究更人性化的交互技术，以及如何利用人类源数据（用于生理计算的传感器数据）。

3.1 人机协作交互

在现代工作场景中，机器人与人类工人的合作至关重要。我们专注于人类和机器人与同一对象（工件或工具）交互的直接人机交互场景，解决人类和机器人对对象的相互识别问题。为自动检测人类意图和支持活动识别，我们开发了眼动跟踪系统，能够分析人类眼动并将特定运动模式和注视解释为眼手势，发送到机器人控制系统。

3.2 系统架构扩展

为构建该功能的基础系统，我们为商业眼动跟踪硬件开发了操作系统软件，扩展了分布式服务架构，增加了对象和眼手势识别服务组件。该系统使用对象数据库存储给定对象的视觉特征向量，分析用户眼动，提取注视坐标，并识别不同眼手势，提取的信息通过高效的低级网络协议发送到客户端。

3.3 3D视频注释工具

为实现基于视觉的对象和活动识别，我们实现了3D视频注释工具，为深度学习和异常检测基础设施提供监督学习材料。该工具提供了多模态多传感器数据的特殊图形用户界面，并连接到商业可用的传感器系统（如Intel RealSense F200 3D相机、Leap Motion和Myo），收集的视频用于学习人类和机器人联合交互空间中的手部运动。

智能用户界面架构如下：

graph LR
    A[语义MediaWiki] --> B[智能用户界面]
    C[工业Baxter机器人] --> B
    D[基于对象检测的异常检测] --> B
    B --> E[客户端]

4. 应用案例

自动化、生产工程中的网络物理系统与IT供应商的紧密合作，应能实现可持续商业模式，支持欧洲制造业和智能电网部门管理日益复杂的跨组织生产网络，并与全球供应链有效对接。技术架构的各个组件应作为服务产品或产品开发的输入。创新得到评估的商业模式和具体客户业务案例的支持，例如基于焊接的生产场景中的在线异常检测方法。

4.1 工业机器人与异常建模

在生产场景中，我们利用在线异常检测方法实现质量控制。通过结合深度学习和稀疏表示，我们开发了用于手部姿势跟踪的新型数据库，并利用深度学习方法进行估计。目前使用的工具包括手部模型（libhand）、不同类型的3D相机和SmartGlove，经评估，只有SmartGlove和libhand的组合符合我们的目标（精确测量）。我们还探索了机器人运动与面部表情和人体距离的关系，以确保安全。同时，我们开发了Unity 3D严肃游戏，用于模拟现实场景，研究人类在注意力分散任务中的行为，该游戏可用于估计最坏情况执行时间（WCET）分布，为网络物理系统中有人参与的问题提供高质量模型。

4.2 钢铁领域异常处理

该用例的主要重点是在异常处理背景下实现生产和维护过程的无缝集成。目前，生产和维护过程及知识的集成非常有限。现有维护应用主要针对单个组件或部分，缺乏对工厂整体性能的全面视角，有经验的生产员工不再积极参与维护过程，且语义知识未融入维护过程。为克服这些缺点，我们提出了将人类专家知识与机器维护知识无缝对齐的扩展业务用例，通过技术基础设施实现以下目标：
1. 将大量监控应用的局部视角和各种预防性维护策略的历史数据整合为一个全局连贯的视角。
2. 建立生产领域专家知识的无缝集成和处理手段。
3. 通过语义模型纳入工厂及其操作的结构知识，实现所有必要（预处理）数据源的通用表示。
4. 将集成数据源作为分析应用的输入，以产生新的有价值见解，并触发自动推荐的行动，以改进整体工厂维护过程。

现有工厂监控和维护应用分类如下：
| 应用类型 | 描述 |
| — | — |
| 故障维护应用 | 当工厂设备损坏时进行修复，是被动的，不基于常规维护任务或预定维护策略 |
| 预防性维护应用 | 基于固定维护计划，更换工厂受影响的组件 |
| 预测性维护应用 | 基于条件对工厂操作/组件进行监控 |
| 主动维护应用 | 主动监控工厂操作/组件，并纠正组件故障的根本原因 |

4.2.1 钢铁领域异常处理的具体操作步骤

为了实现生产和维护过程的无缝集成，我们可以按照以下步骤进行操作：
1. 数据整合
- 收集各种监控应用（如预测性维护应用）的数据，包括设备状态、性能指标等。
- 整理各种预防性维护策略的历史数据，如维护时间、更换部件等。
- 将这些数据统一存储在一个数据仓库中，以便后续分析。
2. 专家知识集成
- 邀请有经验的生产员工参与维护过程，记录他们的操作经验和判断依据。
- 将这些专家知识转化为规则或模型，融入到维护系统中。
3. 语义模型构建
- 分析工厂的结构和操作原理，确定各个组件之间的关系和交互方式。
- 利用语义技术，将这些信息表示为语义模型，以便更好地理解和解释数据。
4. 分析应用开发
- 基于集成的数据源，开发分析应用，如异常检测、故障预测等。
- 利用机器学习和数据分析技术，从数据中挖掘有价值的信息，为维护决策提供支持。
5. 行动触发与执行
- 根据分析应用的结果，自动触发推荐的维护行动，如设备检修、部件更换等。
- 跟踪维护行动的执行情况，确保维护工作的顺利进行。

4.2.2 钢铁领域异常处理的效果评估

为了评估异常处理方法的有效性，我们可以从以下几个方面进行评估：
| 评估指标 | 描述 |
| — | — |
| 维护成本 | 比较实施异常处理方法前后的维护成本，评估成本降低的效果。 |
| 设备可靠性 | 统计设备的故障次数和停机时间，评估设备可靠性的提高情况。 |
| 生产效率 | 对比生产效率的变化，评估异常处理方法对生产的影响。 |
| 专家知识利用率 | 评估专家知识在维护过程中的应用程度，确保知识得到充分利用。 |

5. 总结与展望

5.1 项目成果总结

通过上述的知识获取、异常检测、智能用户界面设计和应用案例实践，我们在智能工厂项目中取得了一系列重要成果：
1. 知识获取方面 ：建立了实时语义层和语义模型，实现了生产应用的无缝数据集成，为生产控制提供了有力支持。
2. 异常检测方面 ：提出了有效的异常检测方法和架构，提高了故障检测的准确性和效率，减少了误报和漏报。
3. 智能用户界面方面 ：开发了眼动跟踪系统和3D视频注释工具，实现了更人性化的人机交互，提高了人机协作的效率。
4. 应用案例方面 ：在工业机器人和钢铁领域的应用中，验证了我们的方法和技术的有效性，为实际生产提供了可行的解决方案。

5.2 未来发展方向

尽管我们取得了一定的成果，但智能工厂领域仍有许多挑战和机遇等待我们去探索。未来，我们可以从以下几个方面进行进一步的研究和发展：
1. 技术创新 ：不断探索新的技术和方法，如人工智能、大数据、物联网等，以提高智能工厂的智能化水平。
2. 系统集成 ：加强各个子系统之间的集成和协同，实现整个生产过程的自动化和智能化。
3. 人机协作 ：进一步研究人机协作的模式和方法，提高人机协作的效率和安全性。
4. 可持续发展 ：关注智能工厂的可持续发展，如节能减排、资源循环利用等，实现绿色生产。

以下是未来发展方向的流程图：

graph LR
    A[技术创新] --> B[智能工厂发展]
    C[系统集成] --> B
    D[人机协作] --> B
    E[可持续发展] --> B

总之，智能工厂是未来制造业的发展方向，我们需要不断努力，推动智能工厂技术的发展和应用，为实现制造业的转型升级做出贡献。