ELK日志收集

最新推荐文章于 2025-06-22 17:26:02 发布
原创 最新推荐文章于 2025-06-22 17:26:02 发布 · 5.7k 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elk #elasticsearch #java

本文详细介绍了ELK（Elasticsearch、Logstash、Kibana）日志分析系统的部署过程，包括Elasticsearch集群的搭建，Logstash在Apache服务器上的配置，以及Kibana的安装和验证。此外，还探讨了Filebeat在ELK架构中的作用，提供了ELFK（Filebeat+ELK）的工作流程和部署步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

前言

  • 分析日志是运维工程师发现问题，解决系统故障的主要手段。日志主要包括系统日志、应用程序日志和安全日志。
  • 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。
  • 经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存在不同的设备上。如果管理数十上百台服务器，还在使用依次登录每台机器的传统方法查阅日志，既繁琐又效率低下。为此，我们可以使用集中化的日志管理，例如：开源的 syslog，将所有服务器上的日志收集汇总。
  • 集中化管理日志后，日志的统计和检查又成为一件比较麻烦的事情，一般我们使用 grep、awk 和 wc 等 Linux 命令能实现检索和统计，但是对于更高要求的查询、排序和统计等，再加上庞大的机器数量，使用这样的方法依然难免有点力不从心。
  • 开源实时日志分析 ELK 平台能够完美的解决我们上述的问题，ELK 由 ElasticSearch、Logstash 和 Kibana 这三个开源工具组成。

一、ELK 日志分析系统

1. ELK 简介

ELK 平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kibana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。

2. 组件说明

2.1 ElasticSearch

  • ES 是基于 Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
  • ES 是用 JAVA 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 ES 通信。
  • ES 是个分布式搜索和分析引擎，优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。

2.2 Logstash

  • Logstash 作为数据收集引擎。它支持动态的从各种数据源搜索数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置，一般会发送给 ES。
  • Logstash 由 JRuby 语言编写，运行在 JAVA 虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。

2.3 Kibana

  • Kibana 是基于 Node.js 开发的展示工具，可以为 Logstash 和 ES 提供图形化的日志分析 Web 界面展示，可以汇总、分析和搜索重要数据日志。

2.4 Filebeat

  • Filebeat 是一款轻量级的开源日志文件数据搜索器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 Logstash 进行解析，或是直接发给 ES 存储，性能上相比运行于 JVM 上的 Logstash 优势明显，是对它的替代。

日志的集中化管理 beats 包括四种工具：
Packetbeat（搜索网络流量数据）
Topbeat（搜索系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
Filebeat（搜集文件数据）
Winlogbeat（搜集 Windows 时间日志数据）

3. 完整日志系统的基本特征

  • 收集：能够采集多种来源的日志数据
  • 传输：能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储：存储日志数据
  • 分析：支持 UI 分析
  • 警告：能够提供错误报告，监控机制

4. ELK的工作原理

img

  • AppServer 是一个类似于 Nginx、Apache 的集群，其日志信息由 Logstash 来收集
  • 往往为了减少网络问题所带来的瓶颈，会把 Logstash 服务放入前者的集群内，减少网络的消耗
  • Logstash 把收集到的日志数据格式化后输出转存至 ES 数据库内（这是一个将日志进行集中化管理的过程）
  • 随后，Kibana 对 ES 数据库内格式化后日志数据信息进行索引和存储
  • 最后，Kibana 把其展示给客户端

二、部署 ELK 日志分析系统

在这里插入图片描述

1. 服务器配置

服务器 配置 主机名 ip地址 主要软件
node1 节点 2C/4G node1 192.168.10.100 ElasticSearch、Kibana
node2 节点 2C/4G node2 192.168.10.101 ElasticSearch
apache 节点 - apache 192.168.10.102 Logstash、Apache

2. 关闭防火墙

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
ntpdate ntp.aliyun.com
123

3. ElasticSearch集群部署（node1、node2）

3.1 环境准备

以 node1 为例
[root@localhost ~]# hostnamectl set-hostname node1
[root@localhost ~]# su
[root@node1 ~]# echo "192.168.10.100 node1" >> /etc/hosts
[root@node1 ~]# echo "192.168.10.101 node2" >> /etc/hosts
[root@node1 ~]# java -version	#不建议使用 openjdk

# rpm 安装 jdk （方法一）
cd /opt
#将软件包传至该目录下
rpm -ivh jdk-8u201-linux-x64.rpm

vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
#注释：
1.输出定义java的工作目录
2.输出指定java所需的类文件
3.输出重新定义环境变量，$PATH一定要放在$JAVA_HOME的后面，让系统先读取到工作目录中的版本信息


source /etc/profile.d/java.sh
java -version

# rpm 安装 jdk （方法二）
cd /opt
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local
mv /usr/local/jdk1.8.0_91/ /usr/local/jdk

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile
java -version
12345678910111213141516171819202122232425262728293031323334353637

3.2 部署 ElasticSearch 软件

3.2.1 安装 elasticsearch-rpm 包
以 node1 为例
[root@node1 ~]# cd /opt
[root@node1 opt]# rz -E
#上传elasticsearch-5.5.0.rpm到/opt目录下
rz waiting to receive.
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm 
12345
3.2.2 加载系统服务
以 node1 为例
systemctl daemon-reload && systemctl enable elasticsearch.service
1
3.2.3 修改 elasticsearch 主配置文件
以 node1 为例
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
#备份配置文件
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
 
##17行，取消注释，指定群集名称
cluster.name: my-elk-cluster
##23行，取消注释，指定节点名称（node1节点为node1，node2节点为node2）
node.name: node1
##33行，取消注释，指定数据存放路径
path.data: /data/elk_data
##37行，取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
##43行，取消注释，不在启动的时候锁定内存（前端缓存，与IOPS-性能测试方式，每秒读写次数相关）
bootstrap.memory_lock: false
##55行，取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
##59行，取消注释，ES服务的默认监听端口为9200
http.port: 9200
##68行，取消注释，集群发现通过单播实现，指定要发现的节点node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
 
[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
-------------------------------------------------------

scp /etc/elasticsearch/elasticsearch.yml root@192.168.10.101:/etc/elasticsearch/elasticsearch.yml
#将配置好的文件用 scp 传至 node2，后续只用去改个节点名字即可
12345678910111213141516171819202122232425262728293031323334
3.2.4 创建数据存放路径并授权
以 node1 为例
[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/
12
3.2.5 启动 elasticsearch
以 node1 为例
[root@node1 opt]# systemctl start elasticsearch.service 
[root@node1 opt]# netstat -natp | grep 9200		#启动较慢，需等待
tcp6       0      0 :::9200                 :::*                    LISTEN      4216/java           
123
3.2.6 查看节点信息
浏览器访问 http://192.168.10.100:9200、http://192.168.10.101:9200 查看节点 node1、node2 的信息`
![在这里插入图片描述](https://img-blog.csdnimg.cn/c8a1933dedfd41a599dbbc53d70f96cb.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/17a9b93b5fb54eeea138e200a9ce9c1b.png)
`浏览器访问 http://192.168.10.100:9200/_cluster/health?pretty、http://192.168.10.101:9200/_cluster/health?pretty查看群集的健康情况，可以看到status值为green(绿色)，表示节点健康运行

最低0.47元/天 解锁文章

200万优质内容无限畅学
使用 ELK 收集日志
码农UP2U
09-15 4412
在这种情况下，ELK 为我们提供了统一的日志管理解决方案，它能很好的支持 Logback 等日志框架，使得我们可以集中的管理不同应用输出的日志信息。创建完成后，返回 Kibana 的首页，选择 Discover 选项，切换到我们新建的 logstash-* 选项下，然后选择时间段，就可以看到相应的日志信息了。在上图中应用日志框架直接将日志发送给 Logstash，然后 Logstash 将接收的日志写入 ElasticSearch 中，开发人员通过可视化的 Kibana 可以进行日志的查询和分析。
企业级日志分析系统 ELK 详解
shenyuanhaojie的博客
11-19 2376
文章目录前言一、ELK 日志分析系统1. ELK 简介2. 组件说明2.1 ElasticSearch2.2 Logstash2.3 Kibana2.4 Filebeat3. 完整日志系统的基本特征4. ELK的工作原理二、部署 ELK 日志分析系统1. 服务器配置2. 关闭防火墙3. ElasticSearch集群部署（node1、node2）3.1 环境准备3.2 部署 ElasticSearch 软件3.2.1 安装 elasticsearch-rpm 包3.2.2 加载系统服务3.2.3 修改 el
【ELK(Elasticsearch+Logstash+Kibana) 从零搭建实战记录：日志采集与可视化】
xbd_zc的博客
06-22 1434
本文记录了我在搭建ELK(Elasticsearch, Logstash, Kibana)技术栈时的完整实战过程。使用Docker Compose快速搭建了ELK服务端（监控主机），并通过Filebeat实现了对自身系统日志以及另一台Web主机（host1）上Tomcat应用日志、MySQL数据库日志的集中采集。
ELK日志收集（Logstash）
manongwangziqi的博客
05-03 3042
ELK常用案例
ELK日志收集系统实战部署指南
03-09
ELK日志收集系统实战部署指南是一本专注于介绍ELK（Elasticsearch、Logstash、Kibana）日志分析管理系统的实用性书籍。该系统由三个核心组件构成，Elasticsearch负责日志的存储与搜索，Logstash负责日志的收集与处理...
efk/elk日志收集系统搭建和报警项目实战-7.13版本-课件
09-11
在本文档中，将详细介绍如何搭建efk/elk日志收集系统，并通过实战演练的方式展示如何实现日志监控和报警功能。本内容主要适用于运维人员以及对日志系统感兴趣的开发者，让读者能够掌握在7.13版本的环境下，如何搭建...
ELK日志收集系统操作手册.docx
03-03
ELK日志收集系统操作手册 ELK(日志收集系统)是三个开源软件的缩写，分别表示Elasticsearch、Logstash、Kibana，它们都是开源软件。下面是对ELK日志收集系统操作手册的详细介绍： 一、ELK简介 Elasticsearch是开源...
ELK
m493096871的博客
03-05 351
一.elk是什么？ ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据...
ELK日志收集系统完全实现
01-27
基于VMware实现 ElasticSearch集群+Logstash集群+Kibana+kafka集群+Filebeat 实现日志管理系统
线上日志集中化可视化管理：ELK
weixin_34219944的博客
09-29 263
本文来自网易云社区作者：王贝为什么推荐ELK：当线上服务器出了问题，我们要做的最重要的事情是什么？当需要实时监控跟踪服务器的健康情况，我们又要拿什么去分析？大家一定会说，去看日志，去分析日志。是的，日志对于服务器开发人员来讲是最亲密的伙伴了，基本上每天都会去看各种类型的海量的日志去定位问题，去做统计分析等等。最常见的查看日志的情况，比如线上出了bug，我们ssh到线上服务器，cd到服务器的日志目录...
SpringBoot使用ELK日志收集
weixin_33910137的博客
03-01 470
本文介绍SpringBoot应用配合ELK进行日志收集。 1.有关ELK 1.1 简介 在之前写过一篇文章介绍ELK日志收集方案，感兴趣的可以去看一看，点击这里-----> 《ELK日志分析方案》。 这里在对ELK做一下简述，ELK是有Elastic公司的三个组件配合进行日志收集，分别是： ElasticSearch:用于存储日志信息。 Logstash:用于收集、处理和转发日志信息。...
ELK 日志采集使用
优快云博客技术，java高级工程师，业务层架构师，高级管理认证，毕业设计可以联系我
02-11 2107
ELK 即 Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，在目前这种分布式微服务系统中，通过 ELK 会非常方便的查询和统计日志情况.
ELK---日志收集系统
dingshun129的博客
01-03 3632
ELK—日志收集系统 1.要收集哪些日志？ ①系统日志–为监控做准备 ②服务日志–数据库–MySQL–慢查询日志、错误日志、普通日志 ③业务日志–log4j（必须要收集的是业务日志） 注：log4j—Java类的数据业务日志 （1）要有针对性的去收集 （2）调整日志级别 2.日志收集后，如何展示？（可视化） ①kibana ②grafana 3.日志收集展示出来后，怎么使用？ ①用于给大数据进行分析，作为立体化展示的数据源 ②给研发使用（排障、解决bug等等） ③统计数据流量、作为分析报告的数据源 ELK工
ELK日志收集系统
2301_78534682的博客
09-03 1495
ELK（Elasticsearch、Logstash、Kibana）是一套用于实时日志数据处理和可视化的开源工具组合。本文摘要将介绍ELK的主要功能和优势。
kubernetes中使用ELK进行日志收集
weixin_39941298的博客
04-29 2943
我们这里底层的容器引擎使用的是Docker，且宿主机上的systemd服务可用。因此，我们这里k8s集群系统的日志文件在宿主机的“/var/log”目录下。
elk日志收集
最新发布
06-30
### 部署ELK进行日志收集与分析 ELK（Elasticsearch、Logstash、Kibana）是一套完整的日志收集、处理和可视化工具链，广泛用于集中化管理和分析日志数据。以下是详细的部署步骤： #### 1. 环境准备 在开始之前，确保所有服务器上安装了以下组件： - **Elasticsearch**：用于存储和搜索日志数据。 - **Logstash**：用于接收和处理日志数据。 - **Kibana**：用于数据的可视化展示。 通常情况下，建议使用独立的服务器或虚拟机来部署 Elasticsearch 和 Kibana，并根据日志量的大小决定是否需要多节点集群[^4]。 #### 2. 安装并配置Elasticsearch Elasticsearch 是 ELK 的核心组件，负责索引和搜索日志数据。首先，在每台服务器上安装 Elasticsearch，然后根据需求修改其配置文件 `/etc/elasticsearch/elasticsearch.yml`。例如： ```yaml cluster.name: elk-cluster node.name: 10.1.1.11 node.master: false path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch network.host: 0.0.0.0 http.port: 9200 discovery.zen.ping.unicast.hosts: ["10.1.1.11", "10.1.1.12"] http.cors.enabled: true http.cors.allow-origin: "*" ``` 完成配置后，重启服务以应用更改： ```bash systemctl restart elasticsearch ``` 对于多节点环境，确保 `discovery.zen.ping.unicast.hosts` 指向所有节点的 IP 地址，并且至少一个节点设置为 master 节点[^4]。 #### 3. 安装并配置Logstash Logstash 用于从各种来源接收日志数据，对其进行解析和转换，然后将其发送到 Elasticsearch。首先，在 Logstash 服务器上安装 Logstash，然后修改其配置文件 `/etc/logstash/conf.d/` 中的内容。例如，创建一个名为 `logstash.conf` 的文件，内容如下： ```conf input { beats { port => 5044 } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] } } output { elasticsearch { hosts => ["http://10.1.1.11:9200"] user => "elastic" password => "Passw0rd" index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" } } ``` 在此示例中，Logstash 使用 Beats 输入插件监听端口 `5044`，并通过 Grok 过滤器解析 Apache 日志格式。最后，将数据发送到 Elasticsearch，并指定用户名和密码以确保安全性[^1]。 启动 Logstash 服务： ```bash systemctl start logstash ``` #### 4. 安装并配置Filebeat Filebeat 是 Beats 工具集的一部分，专门用于轻量级地收集日志文件并将其发送到 Logstash 或直接发送到 Elasticsearch。在需要收集日志的服务器上安装 Filebeat，并修改其配置文件 `/etc/filebeat/filebeat.yml`。例如： ```yaml filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log output.logstash: hosts: ["10.1.1.12:5044"] ``` 此配置表示 Filebeat 将监控 `/var/log/` 目录下的所有 `.log` 文件，并将这些日志发送到 Logstash 服务器的 `5044` 端口。完成后，启动 Filebeat 服务： ```bash systemctl start filebeat ``` #### 5. 安装并配置Kibana Kibana 提供了一个用户友好的界面，允许用户通过图形化方式探索和分析 Elasticsearch 中的数据。安装 Kibana 后，修改其配置文件 `/etc/kibana/kibana.yml`，确保它指向正确的 Elasticsearch 地址： ```yaml server.host: "0.0.0.0" elasticsearch.hosts: ["http://10.1.1.11:9200"] elasticsearch.username: "elastic" elasticsearch.password: "Passw0rd" ``` 启动 Kibana 服务： ```bash systemctl start kibana ``` 访问 Kibana 的 Web 界面（默认地址为 `http://<kibana-server>:5601`），然后创建索引模式以匹配 Logstash 发送的数据（例如 `filebeat-*`）。之后，可以使用 Discover 功能查看原始日志数据，或者使用 Visualize 创建图表，最后在 Dashboard 上组合多个可视化效果以形成完整的仪表板[^2]。 #### 6. 可视化与监控 通过 Kibana，可以轻松创建自定义的仪表板来监控系统性能、检测异常行为等。此外，还可以结合 Elasticsearch Head 插件来更直观地查看集群状态。如果选择使用 Docker 部署 Elasticsearch Head，可以运行以下命令： ```bash docker pull alivv/elasticsearch-head docker run --name es-head -p 9100:9100 -dit alivv/elasticsearch-head ``` 访问 `http://<es-head-server>:9100` 即可查看 Elasticsearch 集群的状态[^5]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老赵学coding

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值