Kibana与第三方集成：API网关与数据管道
项目地址: https://gitcode.com/GitHub_Trending/ki/kibana 在现代数据架构中，Kibana作为Elastic Stack的可视化核心，常常需要与各类外部系统进行集成以构建完整的数据链路。本文将聚焦API网关与数据管道两大关键场景，详解如何通过Kibana的自定义集成框架实现无缝对接，帮助运营人员和开发团队快速构建企业级数据解决方案。
自定义集成框架概览
Kibana提供了强大的customIntegrations插件体系，允许开发者注册自定义集成并在Fleet应用中展示。该框架通过前后端分离的架构设计，支持多种集成类型和数据流转模式。
核心接口定义
自定义集成的核心定义位于src/plugins/custom_integrations/common/index.ts，主要包含以下字段：
| 字段名 | 类型 | 描述 |
|---|---|---|
| id | string | 集成唯一标识符 |
| title | string | 显示名称 |
| description | string | 功能描述 |
| type | "ui_link" | 集成类型标识 |
| uiInternalPath | string | Kibana内部路由 |
| shipper | string | 数据传输方式分类 |
| categories | string[] | 功能分类标签 |
注册流程通过CustomIntegrationRegistry实现，关键代码位于src/plugins/custom_integrations/server/custom_integration_registry.ts：
// 注册示例
registry.registerCustomIntegration({
id: "api_gateway.logstash",
title: "Logstash API网关集成",
description: "通过API网关接收并转发日志数据至Elasticsearch",
type: "ui_link",
shipper: "beats",
uiInternalPath: "/app/integrations/detail/logstash/overview",
categories: ["api_gateway", "data_ingestion"]
});
API网关集成实现
API网关作为数据入口的关键组件，需要与Kibana建立双向通信机制：一方面接收外部数据源推送的数据，另一方面向Kibana传输监控指标。
集成架构设计
API网关集成架构
集成架构包含三个核心模块：
- 认证适配器：处理API网关与Kibana间的身份验证
- 数据转换器：将网关数据标准化为Elastic Common Schema (ECS)
- 监控代理：收集网关性能指标并发送至Kibana Monitoring
配置步骤
- 注册集成实例
通过registerCustomIntegration方法完成集成定义：
// src/plugins/custom_integrations/server/language_clients/index.ts
registry.registerCustomIntegration({
id: "api_gateway.nginx",
title: "NGINX API网关",
description: "将NGINX网关日志与指标接入Elastic Stack",
type: "ui_link",
shipper: "beats",
uiInternalPath: "/app/integrations/detail/nginx/setup",
icons: [{ type: "eui", src: "logoNginx" }],
categories: ["api_gateway", "web_server"]
});
- 配置数据接收端点
在Kibana中配置专用API端点接收网关数据：
// 路由定义示例
router.post({
path: '/api/custom_integrations/api_gateway/ingest',
validate: {
body: schema.object({
logs: schema.arrayOf(schema.object({/* ECS字段定义 */})),
metrics: schema.arrayOf(schema.object({/* 指标字段定义 */}))
})
}
}, async (context, request, response) => {
// 数据处理逻辑
const result = await context.customIntegrations.processApiGatewayData(request.body);
return response.ok({ body: result });
});
- 可视化面板配置
在Kibana中导入预定义的API网关监控仪表板，位于examples/observability_alerting_test_data.mdx，包含：
- 请求吞吐量实时图表
- 错误率趋势分析
- 延迟分布热力图
数据管道集成实践
数据管道集成关注数据从采集到存储的完整流转过程，Kibana通过自定义集成支持与多种ETL工具的无缝对接。
集成工作流
关键实现代码
1. 数据转换逻辑
src/plugins/custom_integrations/server/external_integration/index.ts中定义了数据映射规则：
// ECS数据转换示例
export function transformPipelineData(rawData: Record<string, any>): EcsDocument {
return {
timestamp: rawData.event_time || new Date().toISOString(),
message: rawData.log_message,
host: {
name: rawData.source_host
},
// 其他ECS字段映射
};
}
2. 管道监控实现
通过Fleet集成监控数据管道状态：
// 监控指标收集
export async function collectPipelineMetrics(context: RequestHandlerContext) {
const metrics = await context.elasticsearch.client.asInternalUser.search({
index: '.monitoring-logstash-*',
body: {/* 聚合查询 */}
});
return transformMonitoringData(metrics.body);
}
最佳实践与常见问题
性能优化建议
- 批量处理：通过src/plugins/custom_integrations/public/services/find.ts中的
filterCustomIntegrations方法实现数据批量过滤：
// 批量过滤示例
const filtered = filterCustomIntegrations(allIntegrations, {
shipper: 'beats',
categories: ['data_pipeline']
});
- 缓存策略：对频繁访问的集成配置实施缓存，关键代码位于src/plugins/custom_integrations/server/custom_integration_registry.ts：
// 缓存实现
private _getCachedIntegrations(): CustomIntegration[] {
if (this._cacheTTL > Date.now()) {
return this._cache;
}
this._cache = this._integrations.filter(isAddable);
this._cacheTTL = Date.now() + CACHE_DURATION;
return this._cache;
}
常见问题排查
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 集成不显示在Fleet | 分类标签错误 | 检查categories字段是否包含有效值 |
| 数据接收失败 | 权限配置问题 | 验证Kibana API密钥权限范围 |
| 可视化面板无数据 | 索引模式不匹配 | 确认索引模式与数据流名称一致 |
扩展阅读与资源
- 官方文档：api_docs/custom_integrations.mdx
- 示例代码库：examples/custom_integrations_examples/
- 集成模板：docs/action-type-template.asciidoc
通过本文介绍的自定义集成框架，您可以快速实现Kibana与各类API网关和数据管道工具的深度整合。无论是构建实时监控系统还是构建企业级数据平台，Kibana的灵活扩展机制都能满足您的需求。关注项目README.md获取最新功能更新和最佳实践指南。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
