25、利用Fluent Bit、Fluentd和Elasticsearch实现日志集中化管理

利用Fluent Bit、Fluentd和Elasticsearch实现日志集中化管理

1. 向Elasticsearch发送日志

如果Fluent Bit不支持将日志发送到Elasticsearch，可以考虑切换到其父项目Fluentd。Fluentd拥有更丰富的插件集，包括支持MongoDB和AWS S3等。不过，我们这里还是使用Elasticsearch进行日志存储，它非常适合高性能搜索，并且与Fluent Bit集成简单。

Elasticsearch是一个生产级的开源数据库，它以文档形式将数据存储在名为索引（index）的集合中。与关系型数据库不同，它不要求索引中的每个文档都遵循固定的模式，每个数据项可以有自己的字段集。这种特性非常适合集中式日志记录，因为不同系统的日志项可能具有不同的字段。Elasticsearch作为一个独立组件运行，并提供REST API用于插入和查询数据。配套产品Kibana则提供了一个易用的前端界面，用于查询Elasticsearch中的数据。可以将Elasticsearch和Kibana与Fluent Bit部署在Kubernetes的同一个共享日志命名空间中。

以下是部署Elasticsearch和Kibana的具体步骤：

# 创建Elasticsearch部署，并等待Pod就绪
kubectl apply -f elasticsearch/
kubectl wait --for=condition=ContainersReady pod -l app=elasticsearch -n kiamol-ch13-logging

# 创建Kibana部署，并等待其启动