44、FIWARE：助力数据空间发展，推动欧洲数据战略前行-优快云博客

FIWARE：助力数据空间发展，推动欧洲数据战略前行

1. 数据互操作性基础

1.1 NGSI - LD 转换与数据模型

从特定 API 转换到 NGSI - LD 并非复杂任务。NGSI - LD API 具有领域无关性，适用于任何类型的数字孪生。要实现完全互操作性，还需采用与该 API 兼容格式的通用数据模型。Smart Data Models 倡议在此发挥了重要作用，它为开发者提供了强大资源，能将数据模型规范映射为与 NGSIv2 和 NGSI - LD 兼容的具体 JSON 和 JSON - LD 结构。

在 GitHub 上，Smart Data Models 倡议中的资源组织如下：
- 数据模型按“主题”分组，如天气、停车、水产养殖等。
- 这些主题又与多个应用领域的存储库相关联，包括智慧城市、智能农业食品、智能制造、智能水、智能能源等。

部分主题特定于某一应用领域，如智慧城市中的“街道照明”；而有些主题则与多个领域相关，如几乎所有领域都涉及的“天气”，以及与智慧城市和智能水领域相关的“污水”。已发布的数据模型开放贡献且免费使用。

该倡议采用开放治理模型，定义了数据模型的生命周期，包括新数据模型的孵化以及通过协调不同贡献进行数据模型的策划，其活动管理遵循开源社区的最佳实践，秉持透明和精英管理原则。

1.2 FIWARE 组件在数据互操作性中的作用

FIWARE 提供了用于数据提供和消费过程中追踪和跟踪的组件，为从识别数据来源到对 NGSI - LD 交易进行可审计记录等重要功能奠定了基础。对于对透明度和认证有严格要求的数据空间，FIWARE 的 Canis Major 等组件可轻松将交易记录到不同的分布式账本/区块链中。

2. 数据主权与信任

2.1 身份管理

数据空间需为加入的组织提供保障，确保它们能信任其他参与者并对自己的数据行使主权，这需要基于成熟安全标准定义通用构建块。身份管理（IM）是数据空间中的第一个基本构建块，它允许对参与数据空间的组织、个人、机器和其他参与者进行识别、认证和授权。

虽然该构建块可基于第三方开源技术（如 KeyCloak）实现，但 FIWARE 的 Keyrock 组件支持 OpenIdConnect、SAML 2.0 和 OAuth2 标准。对于部署在欧洲的数据空间，Keyrock 还能与 eIDAS 集成，eIDAS 是欧盟委员会提供的构建块，可实现国家电子身份识别方案（eID）的跨境互认，使欧洲公民能在访问其他欧洲国家的在线服务时使用本国 eID。

2.2 可信数据交换

第二个基本构建块是促进参与者之间的可信数据交换，确保参与数据交换的各方身份真实且遵守既定规则/协议。信任意味着数据提供者和消费者可以依赖数据生态系统成员的身份，以及不同安全域之间的交互。

IDS Connector 技术作为可靠基础，FIWARE 社区已孵化出该技术的开源实现，并测试了其与其他核心 FIWARE 组件的集成。以下是一个 AI 服务提供者和消费者在数据空间中的交互示例：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A[AI 服务消费者应用]:::process -->|当前交通更新通知| B[AI 服务提供者应用]:::process
    B -->|30 分钟交通预测更新| A

在这个示例中，AI 服务消费者应用希望根据街道上物联网传感器测量的当前交通水平纳入近实时交通预测。消费者应用上的 Context Broker 组件根据某条街道“当前交通”属性的更新发送通知，这些更新被发送到 AI 服务，在那里使用 AI 算法（如 Apache Spark）进行实时处理，计算出约 30 分钟后的预测交通情况，并在发生变化时更新该街道“30 分钟后交通”属性的值。

在 FIWARE 中，IDS 连接器的实现与 Kubernetes 集群的部署紧密相关，不仅包括数据交换过程，还涉及对相关集群中部署内容的监控和控制，以及确保数据访问/使用控制策略的执行，为此使用支持服务网格概念的产品（如 Istio）至关重要。

在 IDS RAM 中，身份和访问/使用控制目前在组织层面执行，认证机构（CA）和动态属性供应服务（DAPS）负责验证交换数据的组织是否已知且可信，IDS 连接器确保数据交换在组织层面得到授权。此外，FIWARE 安全组件还能在最终用户层面实现更细粒度的认证和访问控制，通过 API 代理组件验证与用户相关的 JSON Web Tokens（JWT），并使用标准 XACML 流程进行访问控制管理。

3. 数据价值创造

3.1 FIWARE 业务应用生态系统的市场服务

数据空间中参与者的松散耦合是基本原则，数据提供者和消费者不一定相互了解，因此需要构建能够将数据资源作为具有商业价值的资产进行管理的构建块，这些资产可以发布、发现和交易，从而促进多边市场的形成和创新服务的创造。

FIWARE 业务应用生态系统（BAE）组件可创建市场服务，数据空间参与者可借此发布其拥有的数据资产相关产品。默认支持三种标准数据资产类型：
- 静态数据文件
- 通过 NGSI - LD 在定义明确的端点提供的实时数据资源
- 数据处理服务，通常具有用于提供输入数据和发布结果的明确端点

用户可以通过门户或 API 访问市场服务，并执行以下主要操作：
- 通过插件定义新的数据资产类型。
- 围绕定义的数据资产类型注册产品，包括提供资产描述、背后的数据模型、访问资产的端点（URL），以及重要的资产相关条款和条件，如服务级别协议（SLA）、法律条款、访问控制策略和定价方案。定价方案包括：
- 免费访问（开放数据）
- 一次性付款
- 定期付款（如每月、每年等）
- 按使用量付款
- 根据选定标准导航和搜索/发现现有产品。

与 FIWARE BAE 市场相关的后端组件和 API 包括：
- 实现标准 TM Forum API 以支持市场配置的后端，如目录管理 API、产品订购管理 API、产品库存管理 API、方管理 API、客户管理 API、计费管理 API 和使用管理 API。
- 评级、计费和结算后端。
- 收入结算和共享系统。
- 认证、API 编排器和 Web 门户。

3.2 数据资源发布平台

FIWARE 还包括用于发布与数据资产相关的数据资源的组件。Idra 发布平台以及对 CKAN 开放数据平台的扩展为此提供了支持。CKAN 扩展具有以下增强功能：
- 实时（近实时）数据发布：使 CKAN 不仅能列出与静态文件相关的数据资源，还能列出由数据空间中 Context Broker 组件提供的 NGSI - LD 请求相关的数据资源，借助 DCAT 功能实现数据资源的发现。
- 基于 Keyrock 组件的身份管理、认证和访问控制功能，支持数据空间整体采用的 OpenId Connect、OAuth2 和 XACML 标准。
- 定价数据资源发布：可将目录中的数据资源标记为与数据市场中可见的产品相关联，用户可点击这些资源并导航到市场获取访问权限。
- 增强的数据可视化：通过 WireCloud 可创建自适应和增量的数据可视化，让卖家决定数据的展示方式。

4. 欧洲数据空间的发展方向

4.1 欧洲数据战略

2020 年 2 月，欧盟委员会宣布了欧洲数据战略，旨在创建一个高效、安全的跨部门数据共享和交换单一市场，以推动欧洲数据经济发展，符合欧洲的自决、隐私和公平竞争价值观。该战略的核心是“数据空间”概念，委员会最初定义了九个领域，包括工业（制造业）、绿色协议、移动性、健康、金融、能源、农业、公共管理和技能。

虽然数据空间能提高数据池、技术工具和基础设施的可用性，以应对特定领域的挑战和法规，但欧盟数据战略认识到这些数据空间应相互连接，这一挑战需要特别关注。欧洲无需从头开始，特定领域和部门的数据共享和交换已经在现有倡议中进行，但各倡议方法不同，不一定能实现互操作性。

4.2 数据空间互操作性挑战与解决方案

数据空间本质上与行业无关，不同部门和数据空间的许多要求和功能相似甚至相同。因此，创建数据空间的基础并非主要的技术挑战，因为有大量技术解决方案和标准可用。实现互操作性数据空间的主要挑战是让所有参与者就标准和设计原则达成一致。虽然在试点应用、概念验证和实践实验室中实现相对容易，但真正的挑战在于将互操作性融入新规范，并实现大规模采用和可扩展性。与 CEF（连接欧洲设施）数字计划保持一致是非常理想的，因为该计划致力于为欧洲创建数字服务基础设施提供构建块。

GAIA - X 旨在创建欧洲的联合数据基础设施，增强安全、自信地访问和共享数据的能力。IDSA 提供了创建具有信任和数据主权的数据空间所需的几个架构元素，但要创建被市场接受和适应的真实数据空间，还需要标准 API、标准数据模型和市场功能，而这正是 FIWARE 生态系统的核心优势所在。两者的互补性如图所示：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A[IDSA]:::process -->|必要架构元素| C[数据空间]:::process
    B[FIWARE]:::process -->|标准 API、数据模型、市场功能| C

FIWARE 的 Context Broker 技术于 2019 年被采纳为连接欧洲设施（CEF）计划的构建块之一，并已证明能与其他相关 CEF 构建块（如 eIDAS、EBSI）顺利集成，为欧洲数据空间的发展提供了有力支持。

5. FIWARE 核心功能总结

5.1 数据互操作性相关功能

功能	描述
API 转换	从特定 API 转换到 NGSI - LD 并非复杂任务，NGSI - LD API 领域无关，适用于各种数字孪生。
数据模型	Smart Data Models 倡议提供强大资源，将数据模型规范映射为与 NGSIv2 和 NGSI - LD 兼容的 JSON 和 JSON - LD 结构。数据模型按主题分组，关联多个应用领域。
追踪与跟踪	FIWARE 组件为数据提供和消费过程提供追踪和跟踪功能，支持数据来源识别和 NGSI - LD 交易审计记录，Canis Major 组件便于将交易记录到分布式账本/区块链。

5.2 数据主权与信任相关功能

功能	描述
身份管理	Keyrock 组件支持 OpenIdConnect、SAML 2.0 和 OAuth2 标准，可与 eIDAS 集成，实现国家电子身份识别方案跨境互认。
可信数据交换	FIWARE 社区孵化 IDS Connector 技术的开源实现，与其他核心组件集成。在组织和用户层面实现身份和访问/使用控制，确保数据交换安全。

5.3 数据价值创造相关功能

功能	描述
市场服务	FIWARE BAE 组件创建市场服务，支持静态数据文件、实时数据资源和数据处理服务等数据资产类型。提供多种定价方案，用户可进行资产注册、搜索等操作。
数据资源发布	Idra 平台和 CKAN 扩展支持数据资源发布，CKAN 扩展具有实时数据发布、身份认证、定价资源发布和增强可视化等功能。

6. 各功能操作流程分析

6.1 数据资产注册流程

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A[用户登录市场服务]:::process --> B[定义数据资产类型（可选）]:::process
    B --> C[围绕资产类型注册产品]:::process
    C --> D[提供资产描述、数据模型、端点等信息]:::process
    D --> E[设置条款和条件及定价方案]:::process

具体步骤如下：
1. 用户登录市场服务，可以通过门户或 API 进行操作。
2. 若默认资产类型不满足需求，用户可通过插件定义新的数据资产类型。
3. 围绕定义好的数据资产类型注册产品。
4. 详细提供资产描述、背后的数据模型、访问资产的端点（URL）等信息。
5. 设置资产相关的条款和条件，包括服务级别协议（SLA）、法律条款、访问控制策略等，并选择合适的定价方案，如免费访问、一次性付款、定期付款或按使用量付款。

6.2 AI 服务交互流程

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A[AI 服务消费者应用]:::process -->|当前交通更新通知| B[AI 服务提供者应用]:::process
    B -->|数据验证与处理| C[运行 AI 算法计算预测结果]:::process
    C -->|30 分钟交通预测更新| A

具体步骤如下：
1. AI 服务消费者应用的 Context Broker 组件根据某条街道“当前交通”属性的更新，向 AI 服务提供者应用发送通知。
2. AI 服务提供者应用接收到通知后，通过 IDS 连接器验证发送方组织的身份和权限，确保数据来源可信。
3. 对收到的更新数据进行处理，使用 AI 算法（如 Apache Spark）进行实时计算，得出约 30 分钟后的预测交通情况。
4. 若预测结果发生变化，AI 服务提供者应用将“30 分钟后交通”属性的更新发送回 AI 服务消费者应用。
5. AI 服务消费者应用的 IDS 连接器验证更新请求的来源，确保其来自可信和授权的组织后，更新本地数据。