43、FIWARE：构建智能数据生态系统的关键技术

FIWARE：构建智能数据生态系统的关键技术

1. FIWARE简介

FIWARE旨在围绕公共、免版税且以实现为导向的软件平台标准，创建一个开放且可持续的生态系统，以简化智能解决方案的开发，并助力组织向智能组织转型。从技术层面看，FIWARE提供了一个精心策划的开源软件组件框架，这些组件可相互组合，并与其他第三方平台组件结合，从而在多个应用领域（如城市、制造业、公用事业、农业食品等）构建便于开发智能解决方案和智能组织的平台。

自2016年末FIWARE基金会成立以来，一个充满活力的全球社区已然形成，其中包括90多个成员组织（涵盖大型企业、中小企业、技术中心和大学）以及数百名个人成员。随着社区的发展，采用FIWARE的组织数量也在持续增加。

任何“由FIWARE驱动”的软件架构都围绕着对现实世界的数字孪生数据表示的管理。这种数字孪生数据表示基于从多种不同来源（如传感器、摄像头、信息系统、社交网络以及通过移动设备的终端用户等）收集的信息构建而成。它会持续维护，并能近乎实时地访问（常被称为“适时”，意味着数据收集和可访问的时间间隔足够短，以便做出适当反应）。应用程序会不断处理和分析这些数据（不仅包括当前值，还包括随时间生成的历史数据），以实现某些任务的自动化，或为终端用户的智能决策提供支持。所有用于建模现实世界的数字孪生集合也被称为上下文，而与数字孪生属性相关的数据则被称为上下文信息。

在FIWARE中，数字孪生是一个实体，它以数字方式代表现实世界中的物理资产（如城市中的公交车、工厂中的铣床）或概念（如天气预报、产品订单）。每个数字孪生具有以下特点：
- 通过URI（统一资源标识符）进行通用标识。
- 属于一种知名类型（如公交车类型、房间类型），同样通过URI进行通用标识。
- 具有多个属性，这些属性又可分为：
- 属性：保存数据（如公交车的“当前速度”或房间的“最高温度”）。
- 关系：每个关系持有一个URI，用于标识给定实体所链接的第三个数字孪生实体（如具体房间所在的具体建筑物）。

数字孪生的属性可能会有所不同，从非常静态的属性（如公交车的“车牌”）到动态变化的属性（如公交车的“速度”或“乘客数量”），再到变化不太频繁的属性（如公交车的“司机”，可能每天更换两次）。重要的是，数字孪生的属性不仅限于可观测数据，还包括推断数据。例如，街道的数字孪生可能不仅具有“当前交通流量”属性（可通过传感器或摄像头自动测量），还具有“30分钟后的预测交通流量”属性，该属性可能基于人工智能算法，根据当前交通数据、影响交通的其他相关数据（如当前观测和预测的天气、附近活动的时间表等）以及给定街道的历史交通信息进行计算。因此，在“由FIWARE驱动”的架构中管理的世界数字孪生数据表示预计将包含智能应用程序所需的所有信息，不仅包括可测量的数据，还包括随着时间推移获得的其他增强见解和知识。

数字孪生方法为不同层面的数据集成提供了基础，具体如下：
- 在垂直智能解决方案中，解决架构内主要构建模块的集成问题。
- 在智能组织内，支持采用系统-of-系统方法集成智能组织内的不同系统。
- 在智能数据空间中，建立不同组织所连接的系统能够使用和理解的基本“通用语言”。

为了在这三个层面支持有效的数据集成，需要对两个关键元素进行标准化：用于访问数字孪生数据的API以及描述与所考虑的不同类型数字孪生相关的属性和语义的数据模型。FIWARE社区一直在推动并将继续推动这两方面的标准化工作：
- NGSI API ：提供了一个简单而强大的RESTful API，用于访问上下文/数字孪生数据。NGSI API规范随着开发者的反馈和实施经验而不断发展。该API的第一个成熟版本是NGSIv2 API，由FIWARE社区成员定义，目前已在多个行业的许多生产系统中使用。API的演进在ETSI CIM ISG（上下文信息管理行业规范组）中进行，FIWARE社区和FIWARE基金会的成员主导了该API的演进版本（即NGSI - LD API）的定义。该规范于2019年由ETSI首次发布，并持续发展。NGSI - LD API用作数据集成API，并由任何“由FIWARE驱动”架构的核心组件（即所谓的上下文代理组件）实现。FIWARE社区提供了不同的上下文代理开源实现，如Orion - LD、Scorpio和Stellio产品。
- 智能数据模型倡议 ：由FIWARE基金会发起，提供了一个以JSON/JSON - LD格式描述的数据模型库，这些数据模型分别与NGSIv2/NGSI - LD API以及任何符合Open API规范的其他RESTful接口兼容。该倡议下发布的数据模型与schema.org兼容，并在存在现有行业标准时遵循这些标准。它解决了开发者面临的一个主要问题，即给定的数据模型规范可能以多种不同方式映射到JSON/JSON - LD，而所有这些方式都是有效的。得益于智能数据模型倡议，开发者可以依赖该库中提供的与NGSIv2/NGSI - LD API兼容的具体JSON/JSON - LD映射，避免因替代映射而产生的互操作性问题。自创建以来，已发布了500多个数据模型，并且贡献数据模型描述的组织数量也在不断增加。像TM Forum或IUDX这样的相关组织正在与FIWARE基金会合作，为该倡议提供支持，遵循最佳的开源实践，构建一个开放的治理模型。

围绕FIWARE上下文代理（这是任何“由FIWARE驱动”架构中的核心强制组件），有一系列丰富的互补开源组件，这些组件可在FIWARE目录中找到。这些组件可分为以下几类：
- 简化与物联网、机器人和第三方系统接口开发的组件。
- 支持上下文/数字孪生数据处理和监控，或与数据处理引擎（如Apache Spark、Apache Flink）、监控工具（如Grafana）和分析平台（如Apache Superset）连接的组件。
- 涵盖身份和访问管理（IAM）以及数据发布和货币化（包括通过NGSI - LD等API可访问的数据）相关方面的组件。

2. FIWARE架构示例

以一个使用机器人从仓库中挑选和码垛产品的智能解决方案为例，其参考架构主要分为三层：
- 核心层 - 上下文代理组件 ：处于架构的核心位置，维护着与所解决的具体问题相关的现实世界对象和概念的数字孪生表示，如自动导引车（AGV）机器人、码垛机器人、仓库中存储产品的货架区域、AGV机器人必须通过的自动门、车间操作员、存储产品的物品以及从客户关系管理（CRM）系统生成的订单等。
- 南向层 ：在上下文代理的南向，作为FIWARE IDAS框架一部分的NGSI IoT代理用于连接导出OPC - UA物联网协议的机器人系统，或特定的传感器或执行器，例如用于检测货架区域中的物品或打开车间门。它们执行物联网协议和NGSI之间的必要转换。此外，基于IDAS代理库开发的系统适配器用于处理与CRM和仓库库存管理系统的连接。像FIROS/SOSS这样的FIWARE组件则可实现对基于ROS/ROS2的机器人系统的适配。最后，FIWARE组件Kurento能够处理部署在车间的摄像头的视频流，有助于检测潜在的障碍物或危险情况。
- 北向层 ：在上下文代理的北向，有许多工具旨在支持对随着上下文/数字孪生信息随时间演变而生成的历史数据流进行实时大数据处理。图中展示了第三方开源组件（如Apache Superset、Grafana）和FIWARE组件（如Wirecloud）的组合，用于支持创建操作仪表板和高级数据地图以监控流程。FIWARE提供了一系列数据连接器（如Cygnus、Draco、Cosmos、STH Comet、QuantumLeap），便于将历史上下文/数字孪生信息传输到这些工具。

在所有这些层中，有多个FIWARE组件支持身份和访问管理。它们控制着不同层之间的数据流动。对于上下文代理的访问，它们执行策略，规定用户可以对上下文/数字孪生数据进行更新、查询或订阅更改的权限。需要注意的是，数据流动并非仅从南向到北向，北向应用程序也可以对上下文数据进行更新，这反过来又会触发与南向连接的设备、机器人或系统的更改。

重要的是，使用FIWARE并不意味着必须使用上述所有互补组件，你可以自由选择其他第三方平台组件来设计你所选择的混合平台。例如，你可以选择使用特定的物联网平台而不是IDAS IoT代理来与传感器和执行器进行交互。只要平台使用FIWARE上下文代理技术来管理上下文信息，就可以标记为“由FIWARE驱动”，基于该平台构建的解决方案也是如此。

再看一个由FIWARE驱动的智慧城市参考架构。同样，上下文代理组件位于架构的核心，持有现实世界对象和概念的数字孪生表示，描述城市中正在发生的事情，如街道、垃圾桶和容器、垃圾车、公交车、电动汽车充电器、建筑物、活动、市民投诉等。城市中部署的不同垂直智能解决方案（如空气质量监测、智能交通管理、智能停车、智能废物管理）都连接到上下文代理，提供它们所管理的相关信息，以创建整个城市的整体上下文/数字孪生表示，从而打破信息孤岛。其中一些垂直智能解决方案可能由FIWARE驱动（如图中的交通控制和废物管理系统），在这种情况下，它们与全球城市级上下文代理的接口无需进行调整。其他解决方案可能并非由FIWARE驱动，但这并非主要问题，因为事实证明，创建将这些系统导出的任何API转换为NGSI - LD的NGSI系统适配器并不困难。最后，城市可能会部署传感器/摄像头基础设施，从中提取有价值的数据。

利用城市的完整上下文/数字孪生表示，可以开发智慧城市治理系统（或城市运营中心）。可以使用实时大数据处理工具，依靠来自多个来源的数据，提取更有价值的见解，以支持决策。同样，监控工具也可以利用城市的这种整体上下文/数字孪生表示。

3. 数据空间中的FIWARE

数据空间可以定义为一个分散的数据生态系统，围绕共同商定的构建模块构建，实现参与者之间有效且可信的数据共享。从技术角度来看，需要一些技术构建模块来确保：
- 数据互操作性 ：数据空间应提供一个坚实的框架，实现参与者之间高效的数据交换，支持数据提供者和消费者的完全解耦。这需要采用所有参与者都使用的“通用语言”，具体体现在采用通用的API进行数据交换以及定义通用的数据模型。还需要通用的机制来跟踪数据交换交易和数据来源。
- 数据主权和信任 ：数据空间应提供技术手段，确保数据空间中的参与者能够相互信任，并对他们共享的数据行使主权。这需要采用通用标准来管理参与者的身份，验证他们的真实性，并执行关于数据访问和使用控制的商定政策。
- 数据价值创造 ：数据空间应支持创建多边市场，使参与者能够通过共享数据创造价值（即创建数据价值链）。这需要采用通用机制，实现与数据提供相关的条款和条件（包括定价）的定义、此类提供的发布和发现，以及管理当给定参与者获得访问和使用数据的权利时所建立的合同生命周期的所有必要步骤。

除了采用共同的技术基础外，数据空间还需要治理，即参与者之间达成一系列业务、运营和组织协议。例如，业务协议规定了可以规范参与者之间数据共享的条款和条件类型，以及支持通过数据空间建立合同的法律框架。运营协议则规范了数据空间运营期间必须执行的政策，例如遵守《通用数据保护条例》（GDPR）或金融领域的《第二支付服务指令》（PSD2）。它们还可能包括定义云基础设施或支持数据空间的全球服务运营商必须实施的工具，以实现对某些流程的审计或采用网络安全实践。最后，组织协议建立了治理机构（类似于互联网的ICANN）。它们处理识别数据空间中实现技术构建模块的产品应符合的具体规范，以及应采用的业务和运营协议。创建数据空间所需的完整构建模块分类如图所示。

在给定的数据空间内，数据共享不应局限于单一领域。因为个人和组织通常会同时在多个领域开展活动，如果将数据共享限制在单一领域，将严重限制新创新服务的创建。当在某个领域（如城市交通管理）运营的组织所生成的数据能够在与其他领域（如物流）相关的流程中共享和利用时，将涌现出许多机会。因此，数据空间的技术构建模块必须与领域无关。另一方面，它们应依赖开放标准，允许多个基础设施和全球服务提供商出现并支持数据空间，而不会被锁定在任何特定的提供商中。鉴于此，虽然在实际实验室和试点项目中使事情运作起来相对容易，但定义成功数据空间的主要挑战在于决定采用哪些具体标准和设计原则，因为这些标准和原则必须得到所有参与者的认可。

4. FIWARE实现数据互操作性

数据空间中的数据提供者需要能够在明确定义的端点发布数据资源，并且要确保未知的数据消费者能够知道如何通过这些端点检索和使用数据。数据消费者则需要知道如何使用他们发现的端点上的数据。这一原则类似于万维网的设计：内容提供者在Web服务器（端点）上发布网页，知道Web浏览器能够连接到这些服务器并检索其内容，然后呈现给终端用户。这意味着数据空间中的所有参与者都应该“使用相同的语言”，具体体现为采用与领域无关的通用API和安全模式进行数据交换（类似于构建句子的方式），以及使用与这些API兼容的数据格式表示的数据模型（类似于构建句子时使用的词汇）。

NGSI API具有领域无关性。实际上，许多不同的系统已经在多个领域（如智慧城市、智能制造、智能能源、智能水、智能农业食品、智能港口或智能健康等）使用NGSI进行开发。这促进了数据共享，因为参与数据空间的每个系统发布的数据都只是丰富了世界的数字孪生数据表示，而连接到数据空间的其他系统将知道如何访问这些数据。参与数据空间的系统事先并不知道哪些其他系统会使用它们发布的数据（不过，正如我们将在下一节中解释的，它们能够设置访问/使用数据的具体条款和条件）。

以下是不同系统在“由FIWARE驱动”的数据空间中交换数据的方式：
- 上下文代理服务器作为端点 ：上下文代理服务器是连接到数据空间的系统发布数字孪生数据的端点，就像Web服务器在万维网上发布HTML内容一样。这些系统可以连接到上下文代理服务器以获取所需的信息。
- 实时数据交换 ：由FIWARE驱动的数据空间支持近乎实时（适时）的数字孪生数据交换，这在设计需要参与者之间非常动态的数据交换的创新价值链时至关重要。例如，城市可以管理靠近特定火车站街道的交通信号灯，以便到达并乘坐出租车的旅客能够更快地前往目的地。
- 丰富的操作功能 ：NGSI - LD提供了非常简单且易于使用的操作，用于创建、更新和使用上下文/数字孪生数据，同时还提供了更强大的操作，如复杂查询（包括地理查询）或订阅以获取数字孪生实体更改的通知。
- 大文件交换支持 ：“由FIWARE驱动”的数据空间还可以使用标准文件传输协议支持大文件的交换，因为在某些场景（如人工智能算法的训练）中可能需要这种文件传输。

需要注意的是，参与“由FIWARE驱动”的数据空间的系统本身不一定需要由FIWARE驱动。未采用FIWARE架构的系统仍然可以使用NGSI API来共享它们产生的数据，并以与代表它们所处理的世界部分的数字孪生实体属性相关的数据形式使用它们所需的数据。这可以由系统直接完成，也可以通过编程实现NGSI与系统原生支持的数据管理API之间转换的NGSI系统适配器来完成。

从理论上讲，连接到数据空间的系统应该能够使用它们首选的API共享数据。每个API的规范（信息模型）可以作为某种宣言发布，集成到系统连接到数据空间所使用的平台中的某些组件可以动态处理这些宣言，以实现API之间的自动适配。然而，这种方法面临着重要的挑战。首先，这种方法仅在非常简单的场景和涉及非常简单的API时得到了验证。因此，利用NGSI - LD支持的访问数字孪生数据的复杂功能的能力将相当有限。另一方面，创建“通用语言”已被证明是创建我们所追求的生态系统的有效方法。我们可以思考一下，如果万维网没有采用HTTP和HTML作为Web服务器和浏览器的“通用语言”，而是每个Web服务器都可以选择不同的协议（而不是HTTP）或不同的文档格式（而不是HTML），它是否能够达到目前的采用速度。NGSI - LD具有作为开放标准（由ETSI定义）的优势，背后有强大的开源社区（FIWARE）支持，并且在欧洲，它将为与“连接欧洲设施”（CEF）计划的发展保持一致铺平道路。创建系统适配器将非FIWARE系统的API转换为NGSI - LD已被证明是可行的，这使得不同系统能够在数据空间中无缝协作。

综上所述，FIWARE通过其数字孪生方法、标准化的API和数据模型，以及丰富的开源组件，为实现数据空间的数据互操作性、主权和价值创造提供了坚实的技术基础。无论是在垂直智能解决方案、智能组织还是智能数据空间中，FIWARE都发挥着关键作用，推动着智能数据生态系统的发展。

5. 数据主权和信任的保障

在数据空间中，保障数据主权和信任是至关重要的。FIWARE通过一系列机制来确保参与者能够相互信任，并对共享的数据行使主权。

首先，在身份管理方面，FIWARE采用通用标准来管理参与者的身份。这意味着每个参与数据空间的实体（无论是组织还是个人）都有一个经过验证的身份标识。通过这种方式，可以准确地识别数据的提供者和使用者，避免身份冒用等安全问题。例如，在一个智慧城市的数据空间中，交通管理部门、能源供应商和市民等不同参与者都有各自唯一的身份标识，确保数据的来源和去向清晰可查。

其次，对于参与者真实性的验证，FIWARE建立了严格的验证机制。只有经过验证的参与者才能进入数据空间进行数据的共享和交互。这可以通过多种方式实现，如数字证书、多因素认证等。以数字证书为例，参与者在加入数据空间时会获得一个数字证书，该证书包含了参与者的身份信息和公钥。在进行数据交互时，双方可以通过验证对方的数字证书来确认其真实性。

最后，在数据访问和使用控制方面，FIWARE执行商定的政策。这些政策规定了谁可以访问数据、可以访问哪些数据以及如何使用这些数据。例如，一家企业可能只允许其合作伙伴在特定的时间段内访问某些敏感数据，并且禁止将这些数据用于商业竞争目的。FIWARE的身份和访问管理组件可以根据这些政策对数据的访问和使用进行严格的控制，确保数据的安全和合规使用。

以下是一个简单的表格，总结了FIWARE保障数据主权和信任的主要机制：
| 保障方面 | 具体机制 |
| ---- | ---- |
| 身份管理 | 采用通用标准管理参与者身份，确保身份唯一可识别 |
| 真实性验证 | 通过数字证书、多因素认证等方式验证参与者真实性 |
| 数据访问和使用控制 | 执行商定的政策，对数据访问和使用进行严格控制 |

6. 数据价值创造的实现

数据空间的一个重要目标是支持参与者通过共享数据创造价值，即创建数据价值链。FIWARE通过一系列通用机制来实现这一目标。

首先，在数据提供的条款和条件定义方面，FIWARE提供了灵活的机制。参与者可以根据自身的需求和利益，定义与数据提供相关的条款和条件，包括定价策略。例如，一家数据提供商可以根据数据的使用频率、使用范围等因素制定不同的价格方案。这样，数据提供商可以通过合理的定价策略获得经济回报，同时也为数据使用者提供了多样化的选择。

其次，在数据提供的发布和发现方面，FIWARE建立了有效的平台。数据提供商可以将其数据提供信息发布到数据空间中，数据使用者可以通过搜索和筛选功能发现符合自己需求的数据。例如，在一个农业数据空间中，农民可以发布自己的土壤湿度、气象数据等，而农业科技公司可以通过搜索功能找到这些数据，用于开发精准农业解决方案。

最后，在合同生命周期管理方面，FIWARE支持管理当参与者获得访问和使用数据的权利时所建立的合同的所有必要步骤。从合同的签订、执行到终止，FIWARE都提供了相应的工具和流程。例如，在合同签订阶段，双方可以通过电子合同的方式明确各自的权利和义务；在合同执行阶段，FIWARE可以监控数据的使用情况，确保双方遵守合同条款；在合同终止阶段，FIWARE可以协助双方进行数据的清理和交接。

以下是一个mermaid格式的流程图，展示了FIWARE实现数据价值创造的主要流程：

graph LR
    A[定义条款和条件] --> B[发布数据提供信息]
    B --> C[数据使用者发现数据]
    C --> D[签订合同]
    D --> E[执行合同（数据访问和使用）]
    E --> F[监控合同执行]
    F --> G{是否满足终止条件}
    G -- 是 --> H[终止合同（数据清理和交接）]
    G -- 否 --> E

7. 总结与展望

FIWARE作为构建智能数据生态系统的关键技术，在数据集成、互操作性、主权保障和价值创造等方面都发挥着重要作用。通过其数字孪生方法、标准化的API和数据模型，以及丰富的开源组件，FIWARE为不同领域的智能解决方案和数据空间提供了坚实的技术基础。

在未来，随着数字化转型的加速和数据驱动的创新需求不断增长，FIWARE有望在更多的领域得到应用和发展。例如，在工业互联网领域，FIWARE可以帮助企业实现设备之间的数据共享和协同，提高生产效率和质量；在医疗健康领域，FIWARE可以支持医疗机构之间的病历数据共享和远程医疗服务的开展，提升医疗服务的可及性和质量。

同时，为了更好地适应不断变化的市场需求和技术发展，FIWARE社区也需要不断地进行创新和改进。例如，进一步完善API和数据模型的标准化工作，提高系统的性能和安全性；加强与其他技术的融合，如人工智能、区块链等，为数据空间带来更多的功能和价值。

总之，FIWARE在智能数据生态系统的建设中具有巨大的潜力，将为推动数字化转型和创新发展做出重要贡献。我们期待着FIWARE在未来能够创造更多的可能性，为我们的生活和工作带来更多的便利和价值。