基于OPC UA的CPPS与边缘计算架构

基于OPC UA服务器的CPPS与边缘计算架构设计与实现

摘要

构建智能工厂必须伴随信息物理生产系统（CPPS）。通过CPPS，将物理工厂迁移至基于数字的网络世界，并实现智能化和自主化的监控与控制，是智能工厂的现实需求。然而，现有CPPS架构仅提供抽象建模架构，并未将OPC UA（开放平台通信统一架构）框架——智能工厂数据交换的国际标准——作为CPPS的基础系统加以应用。此外，使用云计算构建CPPS仍处于初级阶段，考虑到工厂的实时性、非结构化和分布式控制需求，亟需一个伴随边缘计算的云平台。本文提出一种云CPPS架构，适用于真实工厂的智能工厂场景，该架构在云计算环境中实现CPPS，利用边缘计算和容器Docker实现分布式控制，并通过边缘编排的负载均衡与集群技术提供容错能力。部分实现已针对可用性进行了测试。

关键词 : 智能工厂；信息物理生产系统架构；云计算；边缘计算；OPC UA框架

1. 引言

在过去10年中出现的与第四次工业革命相关的IT技术正以惊人的速度发展。其中，人工智能、云计算、边缘计算、物联网、增强现实和虚拟现实已经在新架构、平台、应用等方面涌现出许多新技术和产品。这些技术和平台已被应用于各个行业，并进行了大量尝试，尤其是在智能工厂领域。工业4.0基于信息物理生产系统（CPPS）这一引人注目的概念，实现了物理世界与虚拟世界的融合。CPPS概念结合工业互联网（IIoT）和服务互联网，对制造企业的各个方面产生了颠覆性影响[1]。在智能工厂领域，已开展了大量研究。

在CPPS、智能分布式控制和平台控制方面，已经通过大量机器和机器人传感器的数字连接实现了相关工作。在需要综合应用多种技术的智能工厂中，仍存在许多待解决的问题，而构建信息物理系统的通信与控制领域则是首要解决的问题。工厂流程的整个生命周期都要求企业内所有参与者能够实时进行安全的通信与协作。因此，OPC UA已为此进行了多年的标准化工作。尽管已有许多标准存在，但大多数专家认为，在工业4.0的新背景下，要实现清晰、一致且无矛盾的标准仍然困难[2]。云CPPS促进了成本有效的参考架构和发展方法。这推动了车间通信采用开放网络标准。OPC UA通过实现对工厂信息的远程访问，支持横向与纵向集成，从而能够应用于工业4.0或智能制造[3]。

传统的信息物理生产系统（CPPS）主要关注现实世界与网络世界之间的连接和数据处理。然而，CPPS还必须管理和控制大量的IT基础设施，例如可编程逻辑控制器（PLC）、机器/机器人控制器、工业PC以及有线和无线网络。管理这些IT基础设施并非易事，尤其是当需要配置和管理大量系统时。因此，现代自动化设备在物联网和嵌入式系统领域正变得越来越受欢迎。当今复杂的生态系统包含了边缘/雾计算场景，其中涉及大量地理上分散的设备（因而数量众多）。因此，对该生态系统各个组件影响最大的是实现互连这些生态系统的网络基础设施。一种连接中心云层与边缘/物联网层的新颖且具有前景的范式已被提出。

传统上，制造业采用了集散控制系统（DCS）或数据采集与监视控制系统（SCADA）等分布式控制系统。这是为了解决因特定问题导致整个工厂停机的问题，从而专注于连续生产的必要选择。在当前的智能工厂环境中，分布式控制处理方法可以通过云计算和边缘计算在信息物理生产系统（CPPS）中实现。在CPPS中，云计算（或本地服务器）与边缘计算之间的有机连接以及中心与边缘的角色分工，旨在实现可连续运行的连续服务。它融合了人工智能、虚拟化和集群等最新的IT技术，将成为核心功能。这对于任何希望建设智能工厂的工厂来说都是重要的第一步。我们定义了在智能工厂CPPS建设和边缘计算架构中使用标准化技术的CPPS架构，并提出了可通过边缘计算提供集群分布式控制和微服务的架构。CPPS架构侧重于应用OPC UA标准的工业物联网服务器（IIoT Server）的结构，而边缘计算则专门研究和测试集群和不间断服务。

本文提出了智能工厂中包含边缘计算的信息物理生产系统的定义，以及本研究的必要性和相关环境。第2节描述了相关工作。第3节提出了利用集中式OPC UA服务器的信息物理生产系统和边缘计算架构，并介绍了该架构的结构与作用。第4节定义了测试环境，并根据所提出的架构通过OPC UA建模构建了信息物理生产系统。第5节总结了所提出的系统及未来的研究方向。

2. 相关工作

一些现有的信息物理系统（CPS）和信息物理生产系统（CPPS）架构是针对一般情况研究的，而非特定行业。此外，边缘计算尚处于技术发展的早期阶段，其功能和配置是当前的主要关注点。

康等人[4]提出了一种名为实时数据分发服务（RDDS）的中间件，用于信息物理生产系统（CPPS）。该服务为此类系统提供安全的数据变量通信。基于中间件的内置发布/订阅机制旨在提高在高度不可预测的工厂层面信息物理生产系统环境中传感器数据传播的可靠性和效率。为传感器设计的模型通过控制器提供的实时数据反馈，提升了模型的准确性，从而改善了性能。然而，目前尚无方法将这种中间件应用于实际车间通信所使用的工业网络。为了评估工业4.0的发展与趋势，F. 萨尔迪瓦分析了智能工厂中设计与制造的信息物理融合。作者提出了多种协作系统集成的方法论。特别是定义明确的方法论和集成工具OpenMETA，旨在集成信息物理生产系统（CPPS）和云计算。

计算、虚拟设计和实时分析是创新和高生产率的关键。因此，系统变得具有自感知和自预测能力，其他适合未来研究的特性也得到提升。简而言之，该方法基于所采用的匹配技术，旨在创建一种新的信息物理生产系统方法论，但并未专注于与智能工厂中有用的通信协议（如OPC UA）进行集成[5]。Rajhans等人提出了一种用于信息物理生产系统架构的多视图框架。该框架为信息物理生产系统提供了异构性，引入了支持基于模型开发的架构视图，并使用异构模型。该方法提供视图之间的映射，以确保模型的结构一致性。该框架还在系统设计过程中包含了用户视图。通过应用类型验证实现模型的语义映射，以确保系统的一致性[6]。Vicaire等人提出了一种面向信息物理生产系统的基于组的编程抽象。该抽象模型涵盖传感器和执行器。该模型支持这些设备，因此可以同时对传感器和执行器进行建模和仿真。此处提供的抽象模型称为“捆绑”，适用于工厂现场设备。然而，此类模型并未结合OPC UA等新通信标准使用[7]。其他作者的工作，例如在国际ETFA会议2014[8]和WFCS会议2015[9]上提出的成果，涉及符合IEC 61499标准的低成本信息物理生产系统。然而，本研究基于OPC‐UA服务器以及Modbus/TCP等特定工业通信协议，面向自动化系统并基于XML环境。F. 佩雷斯和E. 伊里萨里提出了一种通用信息物理生产系统架构。该架构由一组表示物理世界模型和一组管理待交换与访问信息的组件组成[10]。

边缘计算有多个嵌套定义。在本研究中，雾计算和边缘计算不加以区分，统称为边缘计算。我们总结了以下关于雾计算和边缘计算的一些不同观点。Satyanarayanan等人[11]指出，云朵（雾计算的同义词）是一种资源丰富的（集群式）计算机，距离移动设备较远。它们通过千兆互连提供高带宽，并通过广域网无线连接到移动设备并接入互联网。云朵在移动设备附近提供“盒中数据中心”，以减少网络延迟和带宽延迟，从而支持交互式应用。

思科认为，雾计算通过虚拟化和多租户支持，提供类云计算的计算、存储和网络资源。其地理分布广泛，旨在为移动或基础设施中的客户端应用提供低且可预测的延迟。他们认为雾计算的资源能力较为适中，涵盖从边缘网络路由器到高端服务器的范围[12]。L. M. 瓦克罗将雾计算定义为一组大规模的异构和分布式设备，能够存储数据、处理任务，并租赁给用户以支持基本网络功能或沙箱应用。它提供4G/5G连接性，可采用面向通信的视角来看待雾计算，并融合雾层与软件定义网络（SDN）管理的层次[13]。

3. 基于OPC UA服务器的信息物理生产系统与边缘计算架构

信息物理生产系统平台是一个仅限智能工厂使用的信息物理系统云平台，可分为云计算平台和边缘计算平台[14]。在图1中，边缘设备被称为信息物理系统边缘（CPS Edge），直接连接到工厂中的机器和机器人，或连接到可编程逻辑控制器（PLC）和远程终端单元（RTU）等通信设备，以实现与云端的数据处理和交换。这些边缘设备还通过边缘编排模块进行集群化管理，以提供负载均衡和容错服务。云信息物理系统采用OPC UA的最新规范——发布/订阅代理（Pub/Sub Broker），基于消息方式采集数据，并将数据分发至安装有中央OPC UA服务器的信息物理生产系统服务器。部署在云端和边缘端的服务经过配置，可在企业内以较少的时间和成本构建智能工厂信息物理系统。该架构还可通过云计算提供服务，从而降低运营成本。此平台是一个基于全球技术的通信平台，通过应用OPC UA框架这一智能工厂的全球标准技术的最新技术，可应用于全球所有工厂，确保不同厂商的机器和机器人之间的互操作性。以下总结了该平台的特点。

该架构包含OPC UA框架技术，并具有以下特性。
- 提供工厂的数字孪生和大数据构建作为云信息物理系统服务
- 提供图形化云计算应用创建服务，使每个工厂都能轻松进行数据分析和仪表板制作
- 通过提供单个工厂的大数据，为包括企业数据在内的大量数据提供大数据分析服务
- 通过引入边缘计算平台实现分布式控制环境，以在本地站点实现智能控制，并通过边缘集群提供不间断服务
- 在边缘平台上运行智能机器，实现智能本地控制和数据过滤。通过采用Docker容器技术，该模型的各种机器和机器人的工业协议可以转换为标准OPC UA，从而实现标准化技术引入。

图2展示了云CPPS架构的详细模块配置。信息物理生产系统服务器是一个云计算系统，通过MQTT和AMQP从边缘和机器的OPC UA发布/订阅代理服务器收集并分发数据。处理来自代理数据的信息物理系统服务器引入了OPC UA标准框架，实现了数据采集与交换的标准化。它还提供了一个可通过API网关连接到其他横向系统（ERP、MES、PDM等）的应用程序编程接口。节点管理服务控制和管理所有以OPC通信连接的、建模为OPC UA对象的节点（地址空间节点）的会话。任务管理服务是一个管理来自外部系统的定义命令的模块，并提供可同时执行多个客户端命令的服务。信息物理系统边缘进程管理器负责管理边缘节点的远程处理。验证与确认则处理由边缘节点生成的数据的一致性与验证。为了最大化云服务的优势，应用定制使客户能够为其自定义仪表板或监控应用创建自定义图形用户界面和应用程序。为了配置集中式历史数据库和用户交互式数据分析器以实现对大数据的高效管理，并提供弹性信息物理系统服务器和深度学习数据源，云基本上由关系型数据库及时序数据库构成。时序数据库为深度学习实例提供相应的数据，以便模型学习得以进行，而信息物理系统边缘则配置注册表以存储用于服务的参数值。OPC UA地址空间是一个变量系统，可在实时更改建模的完整对象节点的值。OPC UA规范通过地址空间管理和传递所有值。

集中式OPC UA服务器、OPC UA发布/订阅、OPC UA指定标准模块、OPC UA监控项、报警/事件以及历史数据服务器被传输或触发。OPC UA地址空间中所有数据被交换和更新。信息交换服务负责与外部系统进行数据交换和通信。它基于现有的OPC UA规范，并以异步消息格式通过OPC UA发布/订阅将数据分发到外部代理和云。

图3显示了云CPPS OPC UA服务器的详细模块配置。OPC UA监控项注册系统和应用程序中周期性接收的节点值，以实现与外部的数据交换，并根据注册的节点值周期性地传输数据。在向OPC UA监控项注册时，OPC UA监控项会将要获取的节点的索引值连同传输周期和数据传输过滤条件一起注册，并向各个OPC UA监控项发送相应的数据。OPC UA报警/事件在每次相关事件发生时，无论内部还是外部，都会生成报警/事件来分发事件数据。

当根据OPC UA节点建模中定义的报警/事件属性发生相应事件时，CPPS连接OPC UA会更新并更改在OPC UA地址空间中生成的所有数据以及由信息交换服务生成的内部报警/事件，并将其在工厂CPPS模型中的CPPS节点控制、CPPS逻辑控制和产品过程控制之间相互传递。

图4 信息物理生产系统边缘计算架构。中心数据处理也通过OPC UA框架实现了标准化。边缘架构由 OPC UA服务器、容器Docker和边缘运行时组成。该OPC UA服务器与云计算中的OPC UA服务器配置相同，因为标准技术被直接应用。它包含OPC UA发布/订阅服务器，具备通过地址空间实现数据标准化、基于机器学习的数据过滤、报警和事件等功能。在边缘侧，通过机器学习增加了数据过滤功能。将所有数据发送到云会严重占用网络带宽。为解决此问题，数据过滤器将根据已学习的数据处理逻辑仅向云端发送必要数据。容器Docker包含可与各种工业协议（如OPC UA、Modbus、FOCAS等）通信的容器，并具有可转换为OPC UA标准的镜像，因此可以继续以驱动形式添加传统协议。得益于灵活的Docker技术，能够通过集成多种工业互联网协议与现有设备和机器进行通信。此外，Docker还支持分发维护、应用程序替换以及维护独立性。各类工业设备的OPC UA标准化中包含了嵌入式数据库，可用于数据存储并提供机器学习输入数据。边缘运行时具备多种功能，用于控制边缘设备以及协调云CPPS服务器与边缘设备之间的操作。

边缘运行时同样应用了容器Docker技术。设备的运行时可采用分布式配置，通过使用无需客户操作系统的 Docker容器技术，可将不同服务的功能应用相互分离，防止故障传递，并实现灵活的替换与版本控制。

图5. 展示了CPPS边缘编排的配置。边缘编排器由边缘主节点和基于虚拟实例的边缘集群组成，这些虚拟实例有利于分布式处理和可持续服务的更新与管理。其中一个边缘设备为主节点，其余为工作节点。主节点通过边缘Rest API实时同步工作节点的状态和信息。如果某个特定的工作节点发生故障，主节点会立即将其功能转移到另一个工作节点上。这使得数据能够安全且持续地传输到云计算平台，或避免现场通信设备故障造成的影响。边缘主节点包含用于每个工作节点健康监控和审计日志记录的边缘集群，以及用于允许和管理TCP/串行端口等外部接口连接的工作节点边缘代理。这是用于边缘集群的任务分配、边缘控制器和调度管理的边缘主节点配置。

图6展示了边缘集群网络的配置。边缘主节点充当传入消息的网关。边缘主节点通过负载均衡，选择性地分发负责消息分发的代理，并在代理之间实时进行数据互操作，以应对一个或多个代理的故障或停用，从而支持大规模分布式系统。该集群网络配备了历史数据服务器、日志聚合和监控配置，并通过主节点进行管理，可检查边缘节点及其安装状态。容器。可以管理每个容器，因此如果主节点发生故障，另一个边缘集群节点将自动接管，从而实现不间断服务。在边缘计算外部，可以通过命令行接口（CLI）进行直接访问。外部接口通过应用程序编程接口（API）进行访问，并主要由主节点运行。在车间现场生成的信号会通过边缘主节点的负载均衡器自动分配到边缘集群节点中的容器。通过使用覆盖网络建立私有环境，可以限制外部访问，即为边缘设备配置一个公共IP。

4. 实施与工业应用案例

我们提出了将CPPS和边缘计算架构与所提出的OPC UA集成的方案。由于该架构实际上实现了一个实用的智能工厂，因此考虑了许多功能。然而，实现这些功能中的许多部分耗时较长，因此在本案例研究中，我们仅实现并测试了关键的核心功能。核心功能包括在边缘计算中实现云CPPS和OPC UA服务器，并通过其交换数据。图7显示了整个测试环境，分为云计算和边缘计算两部分，其中灰色框表示未实现且未纳入测试的部分。

最新的规范OPC UAPub/Sub无法实现，而是通过云CPPS的OPC UA客户端利用现有的OPC UA UDP通信实现了中心化的OPC UA地址空间。

在边缘计算中，应用竞争者Docker技术将Modbus工业协议转换为OPC UA。边缘运行时中有多种配置，但在本研究中，仅通过配置三个边缘设备集群来实时采集三种网络边缘状态。当某个特定边缘设备发生通信故障时，其功能将转移至另一个边缘设备，最终在云CPPS中确认并测试数据采集。我们使用了三台搭载英特尔Haswell i5处理器的基于Windows的设备作为边缘设备。现场设备部分由Modbus模拟程序替代。云服务使用微软的Azure的IaaS服务构建了信息物理生产系统服务器。

Flexing OPC UA服务器[15]部署在信息物理生产系统服务器上。在测试中，OPC UA客户端连接到信息物理生产系统 OPC UA服务器以实时检查数据。Modbus数据通过模拟器生成，并在边缘计算端转换为OPC UA协议。MQTT代理使用开源的MQTT数据发送至信息物理生产系统。

测试流程如下：
步骤1：Modbus模拟器采集Modbus信号，并通过边缘Docker转换为OPC UA标准协议。
步骤2：将OPC UA协议传输至云CPPS服务器的OPC UA服务器。
步骤3：检查云CPPS OPC UA服务器地址空间中采集到的数据。
步骤4：断开第二个边缘设备的网线。（重复10次）
步骤5：验证边缘设备2的数据是否通过边缘设备1或3在云CPPS上被采集。（重复10次）
步骤6：检查服务从第二个边缘设备切换到其他设备所用的时间。

图9展示了通过OPC UA连接到3个边缘的Modbus节点的XML建模。节点id值为i= 8103，表示“总金额”的值。图10显示了通信结果。三个边缘的节点值正在云CPPS服务器上实时收集。Modbus模拟器生成的数据通过MQTT在信息物理生产系统服务器上实时收集。通过强制阻断第二个边缘的网络引发故障。边缘主节点识别出边缘设备2的通信故障，并在主边缘中接管其角色。当然，如果你无法使用主边缘，你可以将其发送到边缘设备3。

通过本次实验，云CPPS边缘平台表明，生产现场的数据以标准协议的形式传输到云端。当边缘设备发生故障时，通过将服务转移到另一个工作设备，数据仍可安全地传输到云CPPS。在边缘故障情况下，平均服务切换时间约为5秒，并丢失5秒的数据。未来应进一步加强研究，以进一步缩短集群边缘的服务切换时间。然而，该平台已能够可靠地将数据从现场传输到边缘再到云端。该架构分为云计算CPS和边缘计算，展示了将工厂角色分布化、持续稳定地将工厂数据发送到云端的可能性。尽管需要5秒的集群切换时间，但该时间可缩短至1秒以内，因此即使在边缘故障的情况下，工厂数据仍可向CPPS发送实时数据。云计算和边缘计算均采用了OPC UA框架和协议。此外，通过部署多种功能，该平台在智能工厂的标准化CPPS架构方面具有广阔的应用前景。

5. 结论

本文提出了一种云CPPS平台，并进行了部分实现与测试。该平台通过提供构建智能工厂所需的平台和服务，有效缩短建设时间并降低成本。此外，集中式OPC UA服务器通过集成地址空间实时管理数据，从而提高了横向数据分发与交换操作的效率，大幅减少了工作时间与成本，并降低了数据丢失、系统退化、延迟等问题的发生。通过采用国际标准OPC UA规范，该平台能够以单一协议接入大量设备、机器和机器人。在工厂持续扩展或收缩等各类变化中，无需更改任何现有系统，只需选择符合OPC UA规范的设备选型和系统，即可构建透明且标准化的系统，从而显著降低智能工厂的建设成本。边缘平台采用容器 Docker，通过故障传播和替换时不影响其他进程的结构，提供了进程独立性、可维护性和稳定性，并借助边缘运行时中包含的集群和负载均衡功能，实现了不间断服务。然而，由于平台包含大量功能和服务，全部功能的实现较为困难。在未来的研究中，我们将通过实现所有剩余功能并引入真实环境现场测试数据，进一步扩展和完善该平台。