Airbyte项目中的Connector元数据文件详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00660/article/details/148374941

Airbyte项目中的Connector元数据文件详解

airbyte Data integration platform for ELT pipelines from APIs, databases & files to warehouses & lakes. 项目地址: https://gitcode.com/gh_mirrors/ai/airbyte

引言

在数据集成领域，元数据管理是确保系统可维护性和可扩展性的关键要素。Airbyte作为现代数据集成平台，通过metadata.yaml文件实现了对连接器(connector)元数据的规范化管理。本文将深入解析这一重要文件的结构、功能和使用场景。

元数据文件概述

metadata.yaml是Airbyte连接器的核心配置文件，它取代了早期版本中的source_definitions.yaml和destinations_definitions.yaml文件。该文件采用YAML格式，包含了连接器的所有关键信息，是连接器在Airbyte生态系统中注册和运行的基础。

文件结构详解

基础配置部分

data:
  connectorSubtype: database
  connectorType: source
  definitionId: decd338e-5647-4c0b-adf4-da0e75f5a750
  dockerImageTag: 2.0.28
  dockerRepository: airbyte/source-postgres
  name: Postgres

connectorType: 标识连接器类型，取值为source或destination
definitionId: 连接器的唯一标识符，采用UUID格式
dockerImageTag: 连接器镜像的版本标签
dockerRepository: 连接器镜像的仓库地址
name: 连接器的显示名称

注册表配置(registries)

registries:
  cloud:
    dockerRepository: airbyte/source-postgres-strict-encrypt
    enabled: true
  oss:
    enabled: true

这部分配置决定了连接器在哪些注册表中可见：

cloud: 针对Airbyte云服务的配置
- dockerRepository: 可覆盖默认的镜像仓库地址
- enabled: 是否在云服务中启用
oss: 针对开源版本的配置
- enabled: 是否在开源版本中启用

当metadata.yaml更新后，系统会自动生成oss_registry.json和cloud_registry.json文件。

标签系统(tags)

tags:
  - "language:java"
  - "keyword:database"

标签系统提供了灵活的连接器分类和搜索能力：

语言标签: 以language:开头，标识连接器使用的编程语言
关键词标签: 以keyword:开头，增强连接器的可发现性

图标配置(icon)

当前Airbyte正在将图标管理从集中式存储迁移到连接器本地目录。过渡完成后：

每个连接器目录将包含icon.svg文件
metadata.yaml中的icon字段将被移除

发布管理(releases)

releases:
  breakingChanges:
    1.0.0:
      message: "版本变更说明..."
      upgradeDeadline: "2023-12-31"
      scopedImpact:
        - scopeType: stream
          impactedScopes: ["users"]

这部分管理连接器的重大变更：

breakingChanges: 定义重大版本变更
- message: 变更描述、影响范围和升级指导
- upgradeDeadline: 建议升级截止日期
- scopedImpact: 可选，限定变更影响范围

remoteRegistries: 配置远程注册表发布

remoteRegistries:
  pypi:
    enabled: true
    packageName: airbyte-source-connector-name

测试套件配置(connectorTestSuitesOptions)

connectorTestSuitesOptions:
  - suite: unitTests
  - suite: acceptanceTests
    testSecrets:
      - name: SECRET_SOURCE-FAKER_CREDS
        fileName: config.json
        secretStore:
          type: GSM
          alias: airbyte-connector-testing-secret-store

支持三种测试类型：