27、元数据层架构：从基础到实践

元数据层架构：从基础到实践

1. 评估与选择合适的元数据实现方案

在构建云数据平台时，仔细评估其成熟度和规模至关重要，这有助于选择正确的实现方法。建议选择能满足当前需求的最简单实现方案，并随着需求的变化逐步改进。直接进行 API 实现可能很有吸引力，但这需要大量的工程努力，并且可能会忽视实际数据用户的需求。

以下是不同规模的数据平台和数据工程团队适合的元数据实现选项：
| 元数据实现选项 | 数据源数量 | 数据工程团队规模 |
| — | — | — |
| 选项 1：使用普通配置文件 | 1 - 5 | 1 - 3 |
| 选项 2：使用数据库 | 5 - 10 | 3 - 5 |
| 选项 3：使用带有 API 层的数据库 | 10 或更多 | 5 或更多，多个团队 |

例如，从选项 1 过渡到选项 2 并不需要完全重写，像添加数据库而不直接处理配置文件时，无需更改配置文件的结构，这使得可以逐步从一个选项过渡到下一个选项。

下面是一个简单的选择流程 mermaid 图：

graph LR
    A[评估数据源数量] -->|1 - 5| B[选项 1: 普通配置文件]
    A -->|5 - 10| C[选项 2: 数据库]
    A -->|10 或更多| D[评估团队规模]
    D -->|5 或更多, 多团队| E[选项 3: 带 API 层的数据库]
    D -->|少于 5| C

2. 现有云元数据服务概述