Linux ELK日志分析系统

目录

Linux ELK日志分析系统

一、ELK 

 ​​​Elasticsearch

Logstash

Kibana

 完整日志系统基本特征

ELK 中日志处理步骤

Elasticsearch

Logstash

LogStash主要组件

Kibana

Kibana主要功能

二、实际部署

---

Linux ELK日志分析系统

一、ELK 

ELK=elasticsearch+logstash+kibana

 ​​​Elasticsearch

是一个开源分布式搜索引擎，特点有：分布式、零配置、自动发现

索引自动分片、索引副本机制，restful风格接口，多数据，自动搜索负载等

通常作为具有复杂搜索场景情况下的核心发动机

Logstash

是一个完全开源的工具，它可以对日志进行收集、过滤，并将其存储，供以后使用

Kibana

是一个开源免费的工具，kibana可以为Logstash和Elasticsearch提供友好的日志分析web页面

 完整日志系统基本特征

收集∶能够采集多种来源的日志数据

传输∶能够稳定的把日志数据解析过滤并传输到存储系统

存储∶存储日志数据

分析∶支持 UI分析

警告∶能够提供错误报告，监控机制

ELK 中日志处理步骤

第一步：将日志进行集中化管理（beats）

第二步：将日志格式化（Logstash），然后将格式化后的数据输出到Elasticsearch

第三步：对格式化后的数据进行索引和存储（Elasticsearch）

第四步：前端数据的展示（Kibana）

Elasticsearch

实时搜索、实时分析

分布式架构、实时文件存储

文档导向，所有对象都是文档

高可用，易扩展，支持集群，分片与复制

接口友好，支持json

Logstash

一款强大的数据处理工具

可实现数据传输、格式处理、格式化输出

数据输入、数据加工（如过滤，改写等）以及数据输出

常用插件：Input、Filter Plugin、Output

Input：收集源数据（访问日志、错误日志等）

Filter Plugin：用于过滤日志和格式处理

Output：输出日志6.kibana

LogStash主要组件

Shipper

Indexer

Broker

Search and Storage

Web Interface

Kibana

一个针对Elasticsearch的开源分析及可视化平台

搜索、查看存储在Elasticsearch索引中的数据

通过各种图表进行高级数据分析及展示

Kibana主要功能

Elasticsearch无缝之集成

整合数据，复杂数据分析

让更多团队成员收益

接口灵活，分享更容易

配置简单、可视化多数据源

简单数据导出

二、实际部署

环境准备

node1：192.168.118.140
node2：192.168.118.150
apache：192.168.118.160

关闭防火墙，修改主机名

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname apache

 检查 java 软件安装

java -version

 切换到 /opt 目录安装 elasticsearch-5.5.0.rpm

rpm -ivh elasticsearch-5.5.0.rpm 

 添加解析

echo "
192.168.118.140 node1
192.168.118.150 node2
192.168.118.160 apache">>/etc/hosts

 测试连通性

ping node1
ping node2
ping apache