ELK-Elasticsearch、Logstash、Kibana部署对接展示

一、普通日志服务器

优点：提高安全性
集中存放日志
缺点：对日志的分析困难

二、日志分析架构

2.1 ELK

Elasticsearch+Logstash+Kibana

Logstash：日志收集+格式处理+日志输出

2.2 EFK

适合业务体量非常大、对日志收集、格式转换并且处理的复杂程度非常高的项目

Elasticsearch+Filebeat+Kafka+Redis+Logstash+Kibana

Logstash：转换格式
Filebeat：日志收集+日志输出
redis可给Kafka和Logstash做缓存
Kafka：消息代理（存在数据、数据传输的载体）（高吞吐量），中间件，传递处理交互请求

三、ELK日志分析系统

Elasticsearch
Logstash
Kibana

3.1 Elasticsearch

提供一个分布式多用户能力的全文搜索引擎

3.1.1 核心概念

接近实时（NRT）

Elaisticsearch是一个接近实时的搜索平台，这意味着，
从索引一个文档直到这个文件能够被搜索到有一个轻微的延迟（通常是1秒）

集群

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个数据，并一起提供索引和搜索功能。
其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。
集群有一个唯一性标示的名字，默认是elasticsearch，一个集群可以只有一个节点。
强烈建议在配置elasticsearch时，配置成集群模式。
ES具有集群机制，节点通过集群名称加入到集群中。
同时在集群中的节点会有一个自己的唯一身份标识(自己的名称)。

节点

节点就是一台单一的服务器，时集群的一部分，存储数据并参与集群的索引和搜索功能。
像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。
可以自己定义，在集群中用于识别服务器对应的节点。
节点可以通过指定的集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。
如果启动多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

索引

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引的文档进行索引、搜索、更新、删除时，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。
索引相对于关系型数据库的库

索引（库）–>类型（表）–>文档（记录）

类型

在一个索引中，可以定义一种或多种。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你定义。通常会为具有一组共同字段的文档定义为一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型
类型相对于关系型数据库的表

文档

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个Index/type里面，可以存储任意多的文档。虽然一个文档在物理上位于一个索引中，时加上一个文档必须在一个索引内被索引和分配一个类型。

分片与副本（shard&replicas）

在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为解决这个问题，elasticsearch提供将索引分成多个分片的功能。当创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立索引，可以位于集群中的任何节点上。
分片的两个主要原因：
水平分割扩展，增大存储量
分布式并行跨分片操作，提高性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的。
网络问题等等其它问题可以在任何时候不期而至，为了健壮性，强烈建议要有一个故障切换机制，无论何种故障以防止分片或者节点不可用。
为此，elasticsearch让我们将索引分片复制一 份或多份，称之为分片副本或副本。

●副本也有两个最主要原因：
a、高可用性，以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上。
b、xxx能，增大吞吐量，搜索可以并行在所有副本上执行。

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分月和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。
默认情况下，Elasticsearch中的每 个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个副本分片(1个完全拷贝)， 这样的话每个索引总共就有10个分片。

3.2 Logstash

一款强大的数据处理工具。Logstash由JRuby语言编写，基于消息(message based)的简单架构，并运行在Java虚拟机(JVM)上。 不同于分离的代理端(agent)或主机端(server) ，LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。

3.2.1 Logstash主要组件

Shipper
Indexer
Broker
Search and Storage
Web Interface

3.2.2 组件作用

Inputplugin：实现数据传输（数据输入）
Filterplugin：实现格式处理（数据加工(如过滤，改写等)）
Outputplugin：实现格式化输出（数据输出）

3.3 Kibana

3.3.1 介绍

Kibana是一个 针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。
使用Kibana, 可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板(dashboard) 实时显示Elasticsearch查询动态。 设置Kibana非常简单。 无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

1、一种针对Elasticsearch 的开源分析即可视化平台
2、搜索、查看存储在Elasticsearch索引中的数据
3、通过各种图标进行高级数据分析及展示

3.3.2 Kibana主要功能

1、Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制， 可以将任何结构化和非结构化数据加入Elasticsearch索引。
Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
2、整合你的数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
3、复杂数据分析。Kibana提升了Elasticsearch分析能力， 能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。
4、让更多团队成员受益。强大的数据库可视化接让各业务岗位都能够从数据集合受益。
5、接口灵活，分享更容易。使用Kibana可以更加方便地创建、 保存、分享数据，并将可视化数据快速交流。
5、 配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器， 可以快速启动运行。
7、可视化多数据源。Kibana可以非常方便地把来自Logstash、 ES Hadoop、 Beats或第三方技术的数据整合到Elasticsearch, 支持的第三方技术包括Apache Flume、 Fluentd等。
8、 简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员受益 接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出

四、日志处理步骤

1、将日志进行集中化管理
2、将日志格式化（Logstash）并输出到Elasticsearch
3、对格式化后的数据进行索引和存储（Elastcsearch）
4、前端数据的展示（Kibana）

4.1ELK工作原理展示图

【APPServer集群】–>【logstash Agent采集器】–>【Elasticsearch Cluster】–>【Kibana Server】–>【Browser】
Logstash收集AppServer产生的Log，并存放到Elasticsearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。简单来说，进行日志处理分析，一般要经过以下几个步骤：

1、将日志进行集中化管理（beats）
beats包含四种工具：
Packetbeat（搜集网络流量数据）
Topbeat（搜集系统、进程级别的CPU和内存使用情况等数据）
Filebeat（搜集文件数据）
Winlogbeat（搜集Windows事件日志数据）
2、将日志格式化
3、对格式化后的数据进行索引和存储（elasticsearch）
4、前端数据展示

journalctl -u   #根据类型查询，如查看docker服务日志journalctl -u docker

五、实验部署

5.1案例环境：配置ELK日志分析系统

配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志

主机	操作系统	主机名	IP地址	主要软件
服务器	Centos7.4	node1	192.168.238.10	Elasticsearch Kibana
服务器	Centos7.4	node2	192.168.238.20	Elasticsearch
服务器	Centos7.4	apache	192.168.238.30	Logstash Apache

六、部署Elasticsearch

6.1 配置elasticsearch环境

这是我自己的，其中参数需要自己修改
将安装包拖到/opt目录下

hostnamectl set-hostname node1   
bash				#bash后shell脚本就断了

#!/bin/bash

echo "192.168.238.10 node1" >> /etc/hosts
echo "192.168.238.20 node2" >> /etc/hosts

java -version
cd /opt/
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/ &> /dev/null

echo 'export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH' >>  /etc/profile
source /etc/profile
java -version

登录192.168.100.41 更改主机名 配置域名解析 查看Java环境

[root@localhost ~]# hostnamectl set-hostname node1 [root@localhost ~]#
bash

[root@node1 ~]# vim /etc/hosts
192.168.238.10 node1
192.168.238.20 node2

[root@node1 ~]# java -version openjdk version “1.8.0_131” OpenJDK
Runtime Environment (build 1.8.0_131-b12) OpenJDK 64-Bit Server VM
(build 25.131-b12, mixed mode)

JDK [root@node1 ~]# cd /opt/ [root@node1 opt]# rz -E rz waiting to receive. [root@node1 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C
/usr/local/

[root@node1 opt]# vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_91 export
JRE_HOME=$JAV{A}_{H}OME/jreexportCLASSPATH=.:${JAVA_HOME}/lib: J R E H O M E / l i b e x p o r t P A T H = {JRE_HOME}/lib export PATH=