云计算运维工程师的成长之路

附kafka消息队列nginx服务器配置filebeat收集日志：192.168.116.40，修改配置将采集到的日志转发给kafka；kafka集群：192.168.116.10，192.168.116.20，192.168.116.30（生产和消费端口9092）；logstash+kibana：192.168.116.50，修改配置从kafka中消费日志，并输出到kibana前端展示；

在ELK中，Logstash 负责收集日志，将日志格式化并输出到 Elasticsearch 群集中；Elasticsearch 对格式化后的数据进行索引和存储；Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

ELK平台是一套完整的日志集中处理解决方案，将、Logstash和Kiabana三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。