OpenMetadata数据可观测性告警与通知配置指南

OpenMetadata数据可观测性告警与通知配置指南

OpenMetadata 开放标准的元数据。一个发现、协作并确保数据正确的单一地点。 项目地址: https://gitcode.com/gh_mirrors/op/OpenMetadata

概述

在现代数据治理体系中，实时监控数据资产变化并及时获取异常通知至关重要。OpenMetadata作为领先的元数据管理平台，提供了强大的数据可观测性告警和通知功能。本文将详细介绍如何配置这些功能，帮助数据团队构建完善的数据监控体系。

核心功能

OpenMetadata的告警系统主要分为两大类：

1. 可观测性告警：针对数据资产的关键事件监控

   • 元数据变更（如表结构变更）
   • 数据质量测试失败
   • 数据管道状态异常
   • 元数据采集工作流监控

2. 变更通知：针对各类数据资产变更事件的提醒

   • 资产所有权变更
   • 标签更新
   • 用户提及通知
   • 系统公告

可观测性告警配置详解

第一步：创建告警规则

1. 导航至"可观测性 > 告警"页面
2. 点击右上角"添加告警"按钮

第二步：配置告警规则

完整的告警配置包含四个关键部分：

1. 数据源选择

支持监控的数据资产类型包括：

• 容器(Container)
• 数据管道(Pipeline)
• 元数据采集管道(Ingestion Pipeline)
• 表(Table)
• 测试用例(Test Case)
• 测试套件(Test Suite)
• 消息主题(Topic)

2. 过滤器设置

基于所选数据源类型，可设置精细化的过滤条件：

• 表名/域名/所有者名称等属性过滤
• 包含/排除逻辑控制（通过开关切换）
• 支持多条件组合

3. 触发条件

根据数据源类型不同，可配置的触发事件包括：

• 表结构变更
• 采集管道状态更新（失败/部分成功/排队中/运行中/成功）
• 数据管道状态更新
• 表指标更新
• 测试用例状态变更
• 测试套件关联的测试用例状态变更

4. 通知目标

支持将告警发送至：

• 内部目标：管理员、关注者、所有者、团队或特定用户
• 外部系统：电子邮件、Google Chat、通用Webhook、MS Teams和Slack

变更通知配置指南

第一步：创建通知规则

1. 导航至"设置 > 通知"页面
2. 点击"添加告警"按钮

第二步：配置通知规则

1. 数据源选择

支持更广泛的资产类型，包括：

• 公告(Announcements)
• 图表(Chart)
• 仪表盘(Dashboard)
• 数据库相关资产
• 机器学习模型
• 标签和术语表
• 以及其他所有数据资产类型

2. 过滤器设置

可基于以下条件过滤通知事件：

• 所有者信息
• 实体全限定名
• 事件类型
• 更新者名称
• 用户提及情况
• 通用元数据事件

3. 通知目标

与可观测性告警类似，支持内部和外部多种通知渠道。

外部系统集成配置细节

电子邮件配置

需提供SMTP服务器详细信息，包括：

• 服务器地址和端口
• 认证凭据
• 发件人信息
• 安全协议选项

Slack集成

1. 获取目标频道的Webhook URL
2. 可选配置：
   • 批量发送大小
   • 连接超时时间
   • 安全密钥

MS Teams集成

1. 在Teams频道中添加"Incoming Webhook"连接器
2. 复制生成的Webhook URL
3. 可选配置参数与Slack类似

通用Webhook配置

1. 提供目标端点URL
2. 可设置批量大小、超时时间和安全密钥

最佳实践建议

1. 分级告警：根据事件严重程度设置不同级别的通知策略
2. 目标分组：将相关团队和用户分组，避免通知泛滥
3. 测试验证：配置后应进行测试验证确保通知可达
4. 定期审查：根据使用情况定期优化告警规则

通过合理配置OpenMetadata的告警和通知功能，数据团队可以构建高效的数据监控体系，确保关键数据变更和异常能够及时触达相关人员，提升数据治理的实时性和有效性。

OpenMetadata 开放标准的元数据。一个发现、协作并确保数据正确的单一地点。 项目地址: https://gitcode.com/gh_mirrors/op/OpenMetadata