ELK日志收集分析系统搭建笔记之前篇

事发之时

在19年1月的某一天，坐在老大对面的我。正在和一些圈内大佬交流技术（其实就是和几个朋友瞎聊）。突然老大叫我，说我给你一台服务器，你去帮我把ELK的环境搭好，给你一周的时间（这一周不止搭环境，还要把项目日志读进去）。瞬间MB，ELK是什么，干什么的，我该干什么。就这样我一脸MB的赶紧去百度了解ELK是什么，环境怎么搭建等等…，经过一系列的琢磨，报错，调试，整个环境让我搭好了，跟老大交了差。到了今天特意把搭建流程与注意的地方写下来，希望能与大家交流。如有不正确之处，请指点。谢谢

ELK是什么

ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。

1. ElasticSearch
   ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

2. Logstash
   Logstash是一个用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。

3. Kibana
   Kibana是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持。

ELK有什么用

ELK组件在海量日志系统的运维中，可用于解决：

分布式日志数据集中式查询和管理

系统监控，包含系统硬件和应用各个组件的监控

故障排查

安全信息和事件管理

报表功能

ELK组件在大数据运维系统中，主要可解决的问题如下：

日志查询，问题排查，上线检查

服务器监控，应用监控，错误报警，Bug管理

性能分析，用户行为分析，安全漏洞分析，时间管理

EKL有什么优势

1. 强大的搜索功能，elasticsearch可以以分布式搜索的方式快速检索，而且支持DSL的语法来进行搜索，简单的说，就是通过类似配置的语言，快速筛选数据。
2. 完美的展示功能，可以展示非常详细的图表信息，而且可以定制展示内容，将数据可视化发挥的淋漓尽致。
3. 分布式功能，能够解决大型集群运维工作很多问题，包括监控、预警、日志收集解析

ELK环境概述与文章单词补充解释

环境如下

linux云服务一台，版本：Centos 7.x
ES 代表 Elasticsearch
Elasticsearch 版本使用 5.6.14 端口使用 9200
Logstahs 版本使用 5.6.14 端口使用 9600
Kibana 版本使用 5.6.14 端口使用 5601
filebate 版本使用 5.6.14 端口使用9610
安装方式采用RPM包安装
内网IP 代表：linux服务器的内网IP
外网IP 代表：linux服务器的外网IP
所有环境安装在同一台服务器

好了，闲话不多说。我们进入正题

Elasticsearch篇
Kibana篇
Logstash篇
Nginx篇
Logback篇

---

丶clearwater