3.ELK日志分析系统

一.ELK平台介绍

1.ELK概述

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如:开源的syslog，将所有服务器上的日志收集汇总。
集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk 和 wc 等Linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash 和 Kiabana 三个开源工具组成。

Elasticsearch 是个开源分布式搜索引擎，它的特点有:分布式，零配置，自动发现，索引自动分片，索引副本机制，restfu1风格接口，多数据源，自动搜索负载等。
 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。
Kibana 也是一个开源和免费的工具，它Kibana 可以为 Logstash 和ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

进行日志出力汾西，一般需要经过以下几步：

(1)将日志进行集中化管理
(2)将日志格式化(Logstash)并输出到Elasticsearch
(3)对格式化后的数据进行索引和存储(Elasticsearch)
(4)前端数据的展示(Kibana)

2.Elasticsearch

2.1 ElasticSearch 概述

Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

2.2 Elasticsearch 核心概念

(1)接近实时(NRT)
Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
(2)集群(cluster)一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据,并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。

(3)节点(node)
一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何 Elasticsearch 节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。
(4)索引(index)

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。
(5)类型(type)
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。
(6)文档(document)
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON(Javascript 0bject Notation)格式来表示，而 JSON 是一个到处存在的互联网数据交互格式。在一个 index/type 里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的 type。

(7)分片和复制(shards &replicas)
一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据 1TB 的磁盘空间，而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”这个“索引”可以被放置到集群中的任何节点上。分片很重要，主要有两方面的原因：

1)允许你水平分割/扩展你的内容容量。
2)允许你在分片(潜在地，位于多个节点上)之上进行分布式的、并行的操作，进而提高性能/吞吐量。

至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch 管理的，对于作为用户的你来说，这些都是透明的，
在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。
复制之所以重要，有两个主要原因:在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要(original/primary)分片置于同一节点上是非常重要的。扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行。总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制的数量，但是你事后不能改变分片的数量。默认情况下，Elasticsearch 中的每个索引被分片5个主分片和1个复制，在两个节点的场景中，每个索引将会有5个主分片和另外5个副本分片，每个索引总共就有 10 个分片。但是在 Elasticsearch 7.0 以后的版本中默认分片数做了调整中，默认索引的主分片(Primary Shards)数量为1,副本分片(ReplicaShards)数量为1

3.Logstash

3.1logstash介绍

Logstash 有 JRuby 语言编写，运行在 Java 虚拟机(JVM)上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Ligstash 具有强大的插件功能，常用于日志处理。
Logstash 的设计理念:Logstash 只做三件事，数据输入、数据加工、数据
输出

3.2Logstash工作的三个阶段

(1)input 数据输入端，可以接收来自任何地方的源数据。file:从文件中读取syslog:监听在 514端口的系统日志信息，并解析成 RFC3164 格式。redis:从redis-server list 中获取beat:接收来自 Filebeat 的事件
(2)Filter 数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，常用的过滤器如下。grok:通过正则解析和结构化任何文本。mutate:在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段drop:完全丢弃事件，如debug 事件。
clone:复制事件，可能添加或者删除字段。
geoip:添加有关 IP 地址地理位置信息。
(3)output 是logstash 工作的最后一个阶段，负责将数据输出到指定位置兼容大多数应用，常用的有:elasticsearch:发送事件数据到 Elasticsearch，便于查询，分析，绘图file:将事件数据写入到磁盘文件上。
mongodb:将事件数据发送至高性能 NoSQL mongodb，便于永久存储，查询，分析大数据分片。redis:将数据发送至 redis-server，常用于中间层暂时缓存。graphite:发送事件数据到 graphite。statsd:发送事件数据到 statsd。

4Kibana

4.1 Kibana

Kibana 是一个设计使用和 Elasticsearch 配置工作的开源分析和可视化平台。可以用它进行搜索、查看、集成 Elasticsearch 中的数据索引。可以利用各种图表、报表、地图组件轻松的对数据仅进行可视化分析

4.2Kibana主要功能

Elasticsearch 无缝集成

整合数据

复杂数据分析

让更多的团队成员收益

接口灵活

配置简单

可视化多数据源

简单数据导出

二.环境设置

1：实验拓扑图

生产服务器(web01) => logstash服务器 => ES/ Kibana服务器(elk1)=> ES服务器（elk2）104

192.168.10.101            192.168.10.102      192.168.10.103

  二.部署ES群集

1基本配置

1.1设置主机名

1.2在两台ES主机上设置hosts文件

vi /etc/hosts

192.168.10.102 elk2

192.168.10.103 elk3

192.168.10.101 elk1

1.3关闭所有节点的防火墙

systemctl stop firewalld

systemctl disable firewalld

setenforce 0

sed -i "s/SELINUX=enforcing/SELINUX=disabled/"  /etc/selinux/config

1.4创建es运行用户

useradd es

1.5安装java环境

dnf -y install java-11

java -version

1.6为用户设置资源访问限制

vi /etc/security/limits.conf

es soft nofile 65535   //一个进程最多能打开的文件数

es hard nofile 65535

es soft nproc 65535     //一个用户最多能创建的进程数

es hard nproc 65535

es soft memlock unlimited    //最大锁定内存地址空间（umlimited不限制）

es hard memlock unlimited

vi /etc/sysctl.conf

vm.max_map_count=655360

sysctl -p

备注:
它的默认值是 65536
限制一个进程可以拥有的 VMA( 虚拟内存区域 )的数量虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中，每当程序尝试在内存中映射文件，链接到共享内存段，或者分配堆空间的时候，这些区将被创建。
这个参数会影响中间件可以开启的线程数量，如果值过小，有时可能会导致有些中间件无法开启足够的线程，进而报错。

2.安装Elasticsearch

tar zxvf elasticsearch-7.10.0-linux-x86 64. tar. gz

my elasticsearch-7.10.0 /usr/local/elasticsearch

vim /etc/elasticsearch/config/jvm.options

-Xms2g

-Xmx2g

备注:JVM(java 虚拟机)提供了大量的参数配置，可以通过配置这些参数对 ,JVM 进行调优。Xms
英文解释:Initial heap size(in bytes)
中文释义:堆区初始值
使用方法:-Xms2g 或-XX:InitialHeapSize=2048m
Xmx
英文解释:Maximum heap size(in bytes)
中文释义:堆区最大值
使用方法:-Xmx2g 或-XX:MaxHeapSize=2048m

2.1更改Elasticsearch主配置文件

vi /usr/local/elasticsearch/config/elasticsearch.yml

cluster.name:  kgc-elk-cluster     //群集名称

node.name： elk1                      //本节点主机名

path.data： /elk/data                 //数据文件路径

path.logs： /elk/logs                  //日志文件路径

bootstrap.memory_lock:  false      //锁定物理内存

network.host： 0.0.0.0                 //监听地址

http.port： 9200                           //监听端口

discovery.seed_hosts:  ["elk1","elk2","elk3"]     //群集中的主机列表

cluster.initial_master_nodes:  ["elk1"]                 //master主机名称，群集的初始化会将此节点选举为master

2.2创建数据存放路径并授权

mkdir -p /elk/data

mkdir -p /elk/logs

chown -R es:es /elk/

chown -R es:es /usr/local/elasticsearch/

2.3启动es

su - es          //es限制使用root启动，需要切换至es

nohup /usr/local/elasticsearch/bin/elasticsearch &

sudo netstat | grep 9200

2.4查看节点信息

curl http://192.168.10.103:9200/_cat/nodes

带有星号的是master节点

三.安装logstash

1.在logstash服务器上安装logstash

systemctl stop firewalld

setenforce 0

yum -y install java-11

tar zxvf logstash-7.10.0  /usr/local/logstash

mv logstash-7.10...  /usr/local/logstash

chmod -R 777 /usr/local/logstash/fata/

2.测试安装结果

(1)直接将消息输出到屏幕

/usr/local/logstash/bin/logstash -e 'input { stdin{}} output { stdout {codec => rubydebug} }'

注意:执行该命令后稍微等一下，会出现一个消息格式，可以输入一些字符串，作为该消息的内容
退出按 Ctr1+C，如果命令失败，删除 logstash 目录的的 data 子目录例如下列显示:

nihao

{

        "@timestamp" => 2025-6-13

        "@version" => "1"

        "host" => "elk1",

        "message" => "nihao"

}

(2)将消息输出到es(如果没有安装 head 组件，此步骤省去)

/usr/local/logstash/bin/logstash -e 'input { stdin{}} output { stdout {  codec =>rubydebug} }output {elasticsearch { hosts=>["192.168.10.103:9200"] }}’

稍等一下可以输入一些字符串作为信息

使用以下方法查看es中索引信息

查看索引列表：

surl -XGET "http://localhost:9200/_cat/indices?v"

3.logstash配置文件

次配置文件由三部分组成：input、output以及filter

通过修改logstash配置文件，让其收集系统日志/var/log/messages,并将其输出到elasticsearch中

chmod o+r /var/log/messages   //让logstash可以读取日志

ll  /var/log/messages

touch /usr/local/logstash/system.conf

vi /usr/local/logstash/system.conf

input {

              file{

                     path=>”/var/log/messages”

                     type=>”system”

                     start_position=>”beginning”

              }

}

output {

              elasticsearch {

                     hosts=>[“192.168.10.103:9200”]

                     index=>”system-%(+YYYY.MM.DD)”

              }

}

运行logstash

/usr/local/logstash/bin/logstash -f /usr/local/logstash/syste.conf

查看索引列表发现多出一个索引

curl -XGET "http://localhost:9200/_cat/indices?v"

四.Filebeat

1.在产生日志的客户端服务器上安装filebeat（以下为elk2）

yum -y install httpd

systemctl start httpd

echo "www.kgc.com" > /var/www/html/index.html

curl 192.168.10.102

cat /var/log/httpd/access_log

2.安装filebeat

tar zxvf filebeat-7.10....

mv filebeat-7.10...   /usr/local/filebeat

3.配置web01服务器filebeat的输出

(1)修改 filebeat 文件，将 filebeat 输出的日志输入到远程的 logstash

cd /usr/local/filebeat/

mv filebeat.yml filebeat. yml. bak

vim filebeat. yml

filebeat.inputs:
- type: log
  paths :
     - /var/log/httpd/access_log
output.logstash:
hosts: ["192.168.10.102:5044"]

(2)启动 filebeat 服务

/usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml &

4.修改logstash的配置文件，使日志输出到elasticsearch

如果发现 logstash 属于开启状态，就先关闭掉可以先査一下 logstash 的进程，netstat -anptgrep 5044，再杀死这个进程
如果要把日志提交给 ES，可以使用如下内容：

vim /etc/local/logstash/config/beats.conf

input {
  beats {
      port => "5044"

      codec => "json'

   }

}
output  { 
         elasticsearch {

                hosts  =>  ["192.168.10.103:9200"]i

                index =>  "weblog-beat-%{+YYYY.MM. dd}"

     }

}

备注:
Codec 是 logstash 从 1.3.0 版开始新引入的概念(Codec 来自 Coder(编码)/decoder(解码) 两个单词的首字母缩写)。
在此之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入 期处理不同类型的数据，这全是因为有了 codec 设置。所以，Logstash 不只是一个inputlfilteroutput 的数据流，而是一个inputdecodefilterencodeoutput 的数据流!codec 就是用来 decode、encode 事件的。codec 的引入,使得 logstash 可以更好更方便的与其他有自定义数据格式的运维产品共存，比如 graphite、fluent、netflow、collectd，以及使用 msgpack、json、edn 等通用数据格式的其他产品等。

5.运行logstash并验证

/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/beats.conf --path.data=/usr/local/logstash/config. d/web01 &

备注:如果需要同时运行多个 logstash，需要使用不同的路径保存不同的日志数据--path.data用来指定数据文件路径

五.安装kibana

1.在elk1上安装kibana

解压后移动到/usr/local/kibana

2.修改kibana主配置文件

vi /usr/local/kibana/config/kibana.yml

server.port:  5601

server.host:  "0.0.0.0"

elasticsearch.hosts:  "http://192.168.10.103:9200"     es主机IP地址

kibana.index:  ".kibana"

chown -R es:es /usr/local/kibana

3.启动kibana服务

su - es

nohup /uar/local/kibana/bin/kibana &

4.验证kibana

（1）浏览器访问：http://192.168.10.101:5601

(2)将elk1主机的系统日志添加到kibana