使用kubernetes-event-exporter将k8s的事件导出到elasticsearch日志系统中

最新推荐文章于 2025-04-17 14:10:50 发布
原创 最新推荐文章于 2025-04-17 14:10:50 发布
· 1.4k 阅读 · 0 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubernetes

本文介绍了如何使用kubernetes-event-exporter将Kubernetes集群的事件数据导出到Elasticsearch日志系统中，包括配置和部署步骤，以及对接成功的验证。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用kubernetes-event-exporter将k8s的事件导出到elasticsearch日志系统中

前提

版本
kubernetes v1.17.9
kubernetes-event-exporter v0.9
elasticsearch 7.3.0

部署

github地址：https://github.com/opsgenie/kubernetes-event-exporter

  1. git 克隆镜像仓库
# git clone https://github.com/opsgenie/kubernetes-event-exporter.git
Cloning into 'kubernetes-event-exporter'...
remote: Enumerating objects: 518, done.
remote: Counting objects: 100% (518/518), done.
remote: Compressing objects: 100% (426/426), done.
remote: Total 5759 (delta 56), reused 466 (delta 36), pack-reused 5241
Receiving objects: 100% (5759/5759), 7.65 MiB | 4.25 MiB/s, done.
Resolving deltas: 100% (2282/2282), done.
  1. 配置01-config.yaml

进到deploy目录，可以看到这三个yaml文件

# cd kubernetes-event-exporter/deploy/
最低0.47元/天 解锁文章
Prometheus基于kubernetes实现监控告警---飞书告警（告警规则最全）
weixin_43273856的博客
11-03 2503
Prometheus基于kubernetes实现监控告警---飞书告警
收集 Kubernetes events 到 OpenSearch
思竞的博客
10-23 81
根据上面配置，我们实现 k8s events 写入到 OpenSearch 的流程，可供排查问题使用。
kubernetes-event-exporter：通过路由和过滤将Kubernetes事件导出到多个目标
02-03
kubernetes-event-exporter 该工具在上。 该工具允许将经常错过的Kubernetes事件导出到各种输出，以便可以将它们用于可观察性或警报目的。 您不会相信所缺少的。 部署方式 继续deploy/文件夹并以给定的文件名顺序应用YAML。 不要忘记根据您的配置需求修改deploy/01-config.yaml文件。 有关配置的其他信息如下： 组态 配置是通过YAML文件完成的，当在Kubernetes中运行时，它位于ConfigMap中。 该工具监视所有事件，用户必须根据其属性选择过滤掉一些事件。 关键事件可以路由到警报工具，例如Opsgenie，或者所有事件都可以转储到Elasticsearch实例。 您可以使用名称空间，相关对象上的标签来通过Slack将一些与Pod相关的事件路由给所有者。 最终路由是一棵允许灵活性的树。 通常如下所示： route : # Main route routes : # This route allows dumping all events because it has no fields to match
kubernetes-event-exporter，轻松将 K8s 的 Event 导出到ES中
技术宅，专注云原生、Go、Linux、Java等技术分享，原创文章、效率工具、实战解决方案！关注我，了解互联网动态，学 IT 不迷路
12-31 3375
文章目录实验版本部署exporter Kubernetes 中的资源，例如 Pod、Deployment、Ingress、Service 事件用来指示状态更新或异常。大多数情况下，这些Event会被忽视，它们 1 小时的生命周期，可能会导致丢失重要的事件。它们也不可搜索且无法聚合。 下面用event-exporter将Event导出到ES 用于后续的搜索聚合分析。 实验版本 kubernetes：v1.17.9 kubernetes-event-exporter：v0.9 elasticsearch：7.3
kube-events：Kubernetes 事件的全维度处理工具
最新发布
gitblog_00597的博客
04-17 742
kube-events：Kubernetes 事件的全维度处理工具 kube-events K8s Event Exporting, Filtering and Alerting in Multi-Tenant Environment ...
event_exporter：kubernetes事件的导出器
02-03
Kubernetes事件导出器 Kubernetes事件到Prometheus桥。 一个收集器可以列出和观看Kubernetes事件，并根据事件的发生情况确定事件持续的时间。 然后将信息转换为度量。 指标概述 kube_event_count最近一个小时内看到的kubernetes事件的计数。 度量标准值与集群中“ Event对象的count属性相同。 kube_event_count{involved_object_kind="Deployment",involved_object_name="event-exporter",involved_object_namespace="default",name="event-exporter.1640452bd04fc7bf",namespace="default",reason="ScalingReplicaSet",source="/deployment-controller",type="Normal"} 1 kube_event_unique_events_total上一小时发生的kubernetes唯一事件总数。 kube_
k8s笔记23--使用kubernetes-event-exporter采集集群events日志
脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到
10-18 3386
k8s笔记23--使用kubernetes-event-exporter采集集群events日志 1 介绍 2 部署测试 2.1 写入kafka 2.2 写入es 3 注意事项 4 说明 1 介绍 kubernetes-event-exporter 是一个用于采集k8s事件的工具，它允许我们将经常遗漏的 Kubernetes 事件导出到第三方平台或者数据库，以便用于可观察性或警报目的。 event-exporter 可以将k8s事件存储到 Opsgenie、Webhooks、kafka、es等十几种平台|数
kubernetes-event-exporter 到es并且grafana绘画es出图 配置kibana
12-29 776
作用：Pod、Deployment、Ingress、Service 事件用来指示状态更新或异常，大多数情况下，这些Event会被忽视，它们 1 小时的生命周期，可能会导致丢失重要的事件。它们也不可搜索且无法聚合。下面用event-exporter将Event导出到ES 用于后续的搜索聚合分析并用grafana统计。
【K8S系列】深入解析K8S监控
热门推荐
颜淡慕潇
07-06 3万+
【深入解析k8s】专栏主要是深入解析每个知识点，帮助大家完全掌握k8s,以下是已更新的章节【深入解析K8S专栏介绍】Kubernetes是一个分布式系统，能够管理和编排容器化应用程序。其中，监控是一个非常重要的方面，可以帮助用户了解集群的健康状态、性能和可用性。在本文中，将详细介绍Kubernetes监控的监控类型监控详解监控软件安装监问题思考在Kubernetes中，监控是一个非常重要的方面，可以帮助用户了解集群的健康状态、性能和可用性。
kubernetes 的Event exporter
纵横四海的博客
04-18 2530
概述 Kubernetes事件是提供洞察群集内发生的事件的对象，例如调度程序做出了什么决定，或者为什么某些PODS被从节点中驱逐出去。 由于事件是API对象，因此它们存储在master上的apiserver中。 为避免填满主磁盘，必须执行保留策略：在最后一次出现后一小时内删除事件。 为了提供更长的历史记录和聚合能力，应该安装第三方解决方案来捕获事件。 本文介绍了一种将Kubernete...
Kubernetes Event Exporter 使用教程
gitblog_00902的博客
08-12 410
Kubernetes Event Exporter 使用教程 kubernetes-event-exporter项目地址:https://gitcode.com/gh_mirrors/kub/kubernetes-event-exporter 1. 项目介绍 Kubernetes Event Exporter 是一个开源工具，旨在帮助用户从 Kubernetes 集群中采集和导出事件数据。这些事...
elasticsearch_exporter：Prometheus的Elasticsearch统计信息导出器
02-03
Elasticsearch导出器 Prometheus导出程序，用于以Go语言编写的有关ElasticSearch的各种指标。 安装 对于预构建的二进制文件，请查看发行版。 码头工人 docker pull justwatch/elasticsearch_exporter:1.1.0 docker run --rm -p 9114:9114 justwatch/elasticsearch_exporter:1.1.0 示例docker-compose.yml ： elasticsearch_exporter : image : justwatch/elasticsearch_exporter:1.1.0 command : - ' --es.uri=http://elasticsearch:9200 ' restart : always ports : - " 127.0.0.1:9114:9114 " Kubernetes 您可以在的稳定图表存储库中找到舵图。 组态 注意：导出程序会在每个刮擦上从ElasticSearch群
kubernetes-config:Kubernetes的配置
05-15
Kubernetes配置 我的Kubernetes配置 启用RBAC创建 kubectl create clusterrolebinding cluster-admin-binding --clusterrole cluster-admin --user caleb@doxsey.net 创建秘密 kubectl create secret generic cloudflare --from-literal=email= ' EMAIL ' --from-literal=api-key= ' API_KEY '
探索与利用 Kubernetes Event Exporter：提升集群可观测性的利器
gitblog_00073的博客
05-15 426
探索与利用 Kubernetes Event Exporter：提升集群可观测性的利器 kubernetes-event-exporter Export Kubernetes events to multiple destinations with routing and filtering ...
Kubernetes Event Exporter: 观察K8s事件的利器
gitblog_00011的博客
04-15 599
Kubernetes Event Exporter: 观察K8s事件的利器 kubernetes-event-exporter项目地址:https://gitcode.com/gh_mirrors/kub/kubernetes-event-exporter 在现代化的微服务架构中， 正是为了帮助我们解决这个问题的一个优秀工具。 项目简介 Kubernetes Event Exporter 是一个...
Kubernetes 事件导出工具——kubernetes-event-exporter 项目推荐
gitblog_00676的博客
11-29 752
Kubernetes 事件导出工具——kubernetes-event-exporter 项目推荐 kubernetes-event-exporter Export Kubernetes events to multiple destinations with routing and filtering ...
kubernetes-event-exporter+loki+grafana实现对k8s event监控管理
Z1227f的博客
09-14 578
2.修改配置指定kubeconfig3.修改config.yaml配置loki sink。
推荐文章：深度解析 Kubernetes Event Exporter——洞悉集群动态的利器
gitblog_00642的博客
08-12 301
推荐文章：深度解析 Kubernetes Event Exporter——洞悉集群动态的利器 项目地址:https://gitcode.com/gh_mirrors/kub/kubernetes-event-exporter 在现代云原生架构中，对Kubernetes事件的深入洞察是运维和 DevOps 团队不可或缺的能力。今天，我们将聚焦一个活跃且功能强大的开源工具——Kubernetes Ev...
k8s+ECK+Fluentbit+prometheus-elasticsearch-exporter+elasticsearch-curator
qq_22765745的博客
10-10 2682
在部署es集群收集日志，以及用prometheus实现监控的遇到很多的坑，大概花了两个礼拜的时间，走通了，希望可以对读者的有一定的帮助。 一、部署集群k8s, 这个需要自行部署，我选择的k8s 1.16 二、部署es集群 1、添加ECK自定义资源 kubectl apply -f all-in-one.yaml (说明，我设置的命名空间为logging-system) kubectl apply -f https://download.elastic.co/downloads/eck/1.1.2/all-
如何诊断Kubernetes控制器的事件丢失问题？
03-26
<think>好的，我现在需要解决用户提出的Kubernetes控制器事件丢失的问题。首先，我需要明确什么是控制器事件，以及为什么会发生丢失。根据我的理解，Kubernetes中的控制器（如Deployment、StatefulSet等）会持续监控集群状态，并根据期望状态进行调整，期间会生成事件（Events），这些事件通常通过kubectl describe命令查看，用于诊断问题。 接下来，用户提到事件丢失，可能的原因是什么？我需要回忆相关的知识。可能的原因包括：事件存储机制问题、API服务器压力过大导致事件被清理、etcd性能问题、控制器配置错误或控制器本身的问题。此外，网络问题或权限问题也可能导致事件无法正确记录。 然后，我需要查阅用户提供的引用内容，看看是否有相关信息。引用[2]提到Prometheus与Kubernetes的集成，可能用于监控事件的生成和存储情况。引用[3]提到kubeadm搭建集群，可能与集群配置有关。引用[4]涉及namespace和pod的删除操作，可能事件在删除资源时被清理。不过用户的问题更关注诊断和解决方案，所以需要系统化的步骤。 诊断步骤应该包括：检查当前事件是否存在，使用kubectl get events --all-namespaces查看所有事件；检查控制器日志，使用kubectl logs [controller-pod] -n [namespace]；检查API服务器和etcd的日志，是否有错误或性能问题；检查资源配额，是否达到限制导致事件被删除；检查Prometheus监控，是否有事件相关的指标异常。 解决方案可能涉及：调整事件保留时间，修改kube-apiserver的--event-ttl参数；优化etcd性能，比如增加节点或调整配置；调整控制器配置，确保其正确报告事件；增加资源配额；使用外部事件存储工具，如event-exporter将事件导出到日志系统；检查网络和RBAC权限，确保控制器有权限记录事件。 另外，用户提供的引用[1]提到故障诊断报告需要记录故障现场、级别和处理过程，因此在解决方案中应建议用户记录这些信息以便后续分析。引用[2]提到的Prometheus生态可以用于监控事件生成情况，设置警报规则，及时发现事件丢失的问题。 需要注意的是，事件在Kubernetes中是存储在etcd中的，默认情况下有保留时间限制，超过时间或数量限制的事件会被删除。因此，事件丢失可能是正常清理过程，但如果是异常提前删除，就需要调整配置。 最后，生成的相关问题需要围绕Kubernetes事件机制、监控、控制器调试等方面，帮助用户进一步理解。</think>### Kubernetes控制器事件丢失的诊断与解决方案 #### 一、问题诊断步骤 1. **检查事件存储状态** 使用命令查看当前集群事件： ```bash kubectl get events --all-namespaces --sort-by='.metadata.creationTimestamp' ``` 若事件未按预期记录，可能因存储限制被自动清理[^2]。 2. **分析控制器日志** 查看控制器（如Deployment控制器）的日志： ```bash kubectl logs -n kube-system [controller-pod-name] ``` 若日志中存在`Failed to record event`等错误，可能是权限或API服务器问题[^1]。 3. **检查API服务器与etcd状态** - **API服务器日志**： ```bash kubectl logs -n kube-system kube-apiserver-[node-name] ``` 关注事件写入相关的错误（如`etcdserver: request timed out`）。 - **etcd性能指标**： 通过Prometheus监控etcd的写入延迟和存储配额[^2]，若达到存储限制可能导致事件被丢弃。 4. **验证资源配额** 检查命名空间的资源配额是否限制事件存储： ```bash kubectl describe resourcequota -n [namespace] ``` --- #### 二、解决方案 1. **调整事件保留策略** 修改kube-apiserver的`--event-ttl`参数（默认1小时），延长事件保留时间： ```yaml # /etc/kubernetes/manifests/kube-apiserver.yaml command: - --event-ttl=24h # 调整为24小时 ``` 2. **优化etcd性能** - 增加etcd节点提升集群可用性。 - 调整etcd存储配额（`--quota-backend-bytes`）并启用自动压缩： ```yaml # etcd配置示例 etcd: extra_args: quota-backend-bytes: "8589934592" # 8GB auto-compaction-retention: "1h" ``` 3. **配置事件导出** 使用`event-exporter`将事件导出到外部存储（如Elasticsearch或Loki）： ```yaml # 部署event-exporter示例 apiVersion: apps/v1 kind: Deployment metadata: name: event-exporter spec: template: containers: - name: event-exporter image: opsgenie/kubernetes-event-exporter args: ["-conf", "/etc/config/config.yaml"] ``` 4. **检查RBAC权限** 确保控制器ServiceAccount具有记录事件的权限： ```yaml apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: event-recorder rules: - apiGroups: [""] resources: ["events"] verbs: ["create", "update", "patch"] ``` 5. **监控与告警配置** 通过Prometheus设置事件丢失告警规则： ```yaml # Prometheus告警规则示例 - alert: EventLossDetected expr: rate(kube_events_count[10m]) < 0.5 # 根据实际阈值调整 for: 5m annotations: summary: "集群事件生成速率异常下降" ``` --- #### 三、相关引用支持 - **事件存储机制**：Kubernetes事件默认存储在etcd中，受`--event-ttl`控制生命周期[^3]。 - **监控集成**：Prometheus可通过ServiceMonitor自动采集API服务器指标，快速定位瓶颈[^2]。 - **故障诊断**：需记录事件丢失的时间范围、关联控制器及集群状态，形成诊断报告[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值