ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍（一）

笔者接触到ELK是由于公司项目采用微服务架构，这样在部署时各个服务需要在不同机器上，而且每个服务部署好几份，这个时候日志到收集就是问题了，不能像之前那样单体应用都在一个机器，可以直接登录查看，所以就开始去了解ELK，最后用ELK+Kafka来完成日志收集处理并展现，而且ELK在大数据行业应用也很广泛。

一、ELK介绍

ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

 

Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查询。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个日志收集、过滤、转发的中间件，主要负责将各条业务线的各类日志统一收集、过滤后，转发给 Elasticsearch 进行下一步处理。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana是一个可视化工具，也是一个开源和免费的，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Filebeat隶属于Beats。目前Beats包含四种工具：

1、Packetbeat（搜集网络流量数据）

2、Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据

3、Filebeat（搜集文件数据）

4、Winlogbeat（搜集 Windows 事件日志数据）

官方文档：

Filebeat：