ELK日志分析系统

顾名思义ELK是由Elasticsearch，Logstash，Kibana三大组件构成的一个基于web页面的日志分析工具。

日志分析是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对日志分析，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。

组件结构：

Elasticsearch：是一个开源分布式时实分析搜索引擎，建立在全文搜索引擎库Apache Lucene基础上，同时隐藏了Apache Lucene的复杂性。Elasticsearch将所有的功能打包成一个独立的动画片，索引副本机制，RESTful风格接口，多数据源。自动搜索等特点。
Logstash ：是一个完全开源的工具，主要用于日志收集，同时可以对数据处理，并输出给Elasticarch
Kibana：也是一个完全开源的工具，kibana可以为Logstash和Elasticsearch提供图形化的日志分析。Web界面，可以汇总，分析和搜索重要数据日志。
一、ELK日志分析系统简介
日志服务器
提高安全性

集中存放日志

缺陷

对日志的分析困难

1.2、ELK日志分析系统
1.2.1、Elasticsearch

1.2.2、Logstash

1.2.3、Kibana

1.3、日志处理步骤
1.3.1、将日志进行集中化管理

1.3.2、将日志格式化（Logstash）并输出到（Elasticsearch）

1.3.3、对格式化后的数据进行索引和存储（Elasticsearch）

1.3.4、前端数据的展示（Kibana）

二、ELK组件介绍
2.1、ELasticsearch的概述
提供了一个分布式多用户能力的全文搜索引擎
2.2、Elasticsearch核心概念
2.2.1、接近实时

2.2.2、集群

2.2.3、节点

2.2.4、索引

索引（库）→类型（表）→文档（记录）
2.2.5、分片和副本

2.3、Logstash介绍
2.3.1、Logstash介绍

一款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入、数据加工（如过滤，改写等）以及数据输出
2.3.2、Logstash主要组件

Shipper
Indexer
Broker
Search and Storage
Web Interface
2.4、Kibana介绍
2.4.1、Kibana介绍

一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示
2.4.2、Kibana主要功能

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员受益
接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出
Top
三、ELK日志问及那系部署
3.1、环境说明

部署两台Elasticsearch做集群，node1做ELK日志分析系统

3.2、Elasticsearch配置（下面的操作都需要在node1、node2上配置）
3.2.1、安装密钥及elasticsearch源

[root@node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@node1 ~]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# vi elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1

[root@node1 ~]# yum list       #查看yum清单
[root@node1 ~]# yum install elasticsearch -y    #安装elasticsearch