EFK日志收集搭建

最新推荐文章于 2025-03-10 16:11:08 发布

Linux …

最新推荐文章于 2025-03-10 16:11:08 发布

阅读量952

点赞数 23

文章标签： elk

本文链接：https://blog.youkuaiyun.com/m0_73298908/article/details/136537068

版权

EFK日志收集：

Elasticsearch功能:

Elasticsearch是一个功能强大的分布式、高扩展、高实时的搜索与数据分析引擎，它支持多种数据类型，如结构化，非结构化文本，数字数据和地理空间数据，能够以近乎实时的速度存储，检索和分析这些数据。

Elasticsearch特点：

分布式搜索引擎和数据分析引擎，对海量数据的近实时处理，高扩展性和水平伸缩性，易用性和可扩展性，高可用性和安全性。

kibana功能：

kibana是一个强大的开源数据可视化和分析平台，它的作用是帮助用户通过交互式的界面对数据进行可视化、查询分析，从而发现数据中的模式，趋势和洞见。

kibana特点：

数据可视化，数据查询和搜索，数据分析和聚合，实时监控和警报，用户权限和访问控制，插件和扩展性。

Filebeat功能：

Filebeat是一个轻量级的开源日志数据收集器，其主要作用是实时收集，解析和传输日志文件，将日志数据发送到指定的目标系统进一步处理和分析。

Filebeat特点：

实时日志收集，灵活的日志数据解析，轻量级和低资源消耗，可靠数据传输，多目标系统支持，简化的配置和管理，可扩展和插件支持。

搭建efk日志收集：

链接：https://pan.baidu.com/s/18S5HXKYlGPiiXHzZH2xrDw
提取码：7aai

搭建EFK软件放在了百度网盘

搭建环境：

Elasticsearch：192.168.8.20

kibana：192.168.8.20

Filebeat：192.168.8.30

nginx：192.1688.30

Elasticsearch内存（4G）

一、在8.20主机上安装Elasticsearch：

1、使用xftp上传Elasticsearch包使用rpm安装：

rpm -ivh elasticsearch-6.6.0.rpm

2、修改配置文件：

vim /etc/elasticsearch/elasticsearch.yml
node.name: node-1 #节点名字，尽量和主机名保持一致
path.data: /data/elasticsearch #存放目录
path.logs: /var/log/elasticsearch #日志目录
network.host: 192.168.8.20,127.0.0.1 #主机ip地址和本机地址
http.port: 9200 #端口号

保存退出

3、创建数据目录，并修改权限：

mkdir -p /data/elasticsearch
chown -R elasticsearch.elasticsearch /data/elasticsearch/

4、启动elasticsearch，启动elasticsearch需要等待两分钟

systemctl daemon-reload
systemctl restart elasticsearch

二、在8.20主机上安装kibana数据分析工具：

1、安装kibana：

rpm -ivh kibana-6.6.0-x86_64.rpm

2、修改kibana配置文件：

vim /etc/kibana/kibana.yml
修改：
server.port: 5601
server.host: "192.168.8.10"
server.name: "db01" #自己所在主机的主机名
elasticsearch.hosts: ["http://192.168.8.10:9200"] #es服务器的ip，便于接收日志数据
保存退出
3、启动kibana

systemctl start kibana

4、查询kibana，和Elasticsearch端口是否启动

netstat -anpt |grep 9200