05. ELK架构-ELK

最新推荐文章于 2025-06-13 18:23:08 发布
最新推荐文章于 2025-06-13 18:23:08 发布
阅读量316 收藏 6
点赞数 5
CC 4.0 BY-SA版权
分类专栏： ElasticStack 文章标签： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40901913/article/details/140490231

部署EFK

基础部分

系统架构

主机规划

主机地址主机名称CPU/MEM主机用途
192.168.23.128elk-node-012C/4GElasticsearch+Logstash+Nginx
192.168.23.129elk-node-022C/4GElasticsearch+Logstash+Tomcat
192.168.23.130elk-node-032C/4GElasticsearch+Kibana

基础配置

  • 设置主机名称
#各个主机单独执行命令
hostnamectl set-hostname elk-node-01
hostnamectl set-hostname elk-node-02
hostnamectl set-hostname elk-node-03
  • 关闭防火墙
#所有节点都要执行（可以选择关闭防火墙，也可以选择添加防火墙策略）
systemctl stop firewalld
systemctl disable firewalld
  • 关闭selinux
#所有节点都要执行
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
  • 配置yum源
#所有节点都要执行
wget -O /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum clean all
yum makecache
  • 优化sshd服务
#所有节点都要执行
sed -ri 's/^#UseDNS yes/UseDNS no/g' /etc/ssh/sshd_config
sed -ri 's/^GSSAPIAuthentication yes/GSSAPIAuthentication no/g' /etc/ssh/sshd_config
  • 集群时间同步
#所有节点都要执行
yum -y install ntpdate chrony
sed -ri 's/^server/#server/g' /etc/chrony.conf
echo "server ntp.aliyun.com iburst" >> /etc/chrony.conf
systemctl start chronyd
systemctl enable chronyd

#显示chronyd服务正在使用的NTP源服务器的详细状态
chronyc sourcestats -v

Elasticsearch部署

注意：涉及节点有192.168.23.128、192.168.23.129、192.168.23.130

安装

  • 下载rpm包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.21-x86_64.rpm
  • 安装Elasticsearch
yum -y localinstall elasticsearch-7.17.21-x86_64.rpm

配置

  • 编辑elasticsearch.yml文件-192.168.23.128
mv /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_`date +%F`
cat > /etc/elasticsearch/elasticsearch.yml << EOF
cluster.name: ELK-learning
node.name: elk-node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.23.128
http.port: 9200
discovery.seed_hosts: ["192.168.23.128", "192.168.23.129", "192.168.23.130"]
cluster.initial_master_nodes: ["192.168.23.128", "192.168.23.129", "192.168.23.130"]
EOF
  • 编辑elasticsearch.yml文件-192.168.23.129
mv /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_`date +%F`
cat > /etc/elasticsearch/elasticsearch.yml << EOF
cluster.name: ELK-learning
node.name: elk-node-2
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.23.129
http.port: 9200
discovery.seed_hosts: ["192.168.23.128", "192.168.23.129", "192.168.23.130"]
cluster.initial_master_nodes: ["192.168.23.128", "192.168.23.129", "192.168.23.130"]
EOF
  • 编辑elasticsearch.yml文件-192.168.23.130
mv /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_`date +%F`
cat > /etc/elasticsearch/elasticsearch.yml << EOF
cluster.name: ELK-learning
node.name: elk-node-3
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.23.130
http.port: 9200
discovery.seed_hosts: ["192.168.23.128", "192.168.23.129", "192.168.23.130"]
cluster.initial_master_nodes: ["192.168.23.128", "192.168.23.129", "192.168.23.130"]
EOF

启动

注意：Elasticsearch启动较慢，需要耐心等待

systemctl start elasticsearch
systemctl enable elasticsearch

验证

  • 查看端口
ss -ntl
  • 查看服务
systemctl status elasticsearch
  • 验证服务
curl -iv 192.168.23.128:9200
curl -iv 192.168.23.129:9200
curl -iv 192.168.23.130:9200

Kibana部署

注意：涉及主机192.168.23.130

安装

  • 下载rpm包
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.22-x86_64.rpm
  • 安装Kibana
yum -y localinstall kibana-7.17.22-x86_64.rpm

配置

mv /etc/kibana/kibana.yml /etc/kibana/kibana.yml_`date +%F`
cat > /etc/kibana/kibana.yml << EOF
server.port: 5601
server.host: "192.168.23.130"
server.maxPayload: 1048576
server.name: "ELK-Kibana"
elasticsearch.hosts: ["http://192.168.23.128:9200", "http://192.168.23.129:9200", "http://192.168.23.130:9200"]
i18n.locale: "zh-CN"
EOF

启动

systemctl start kibana
systemctl enable kibana

验证

  • 查看端口
ss -ntl
  • 查看服务
systemctl status kibana
  • 验证服务
curl -iv http://192.168.23.130:5601

Logstash部署

安装

  • 下载rpm包
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.22-x86_64.rpm
  • 安装Logstash
yum -y localinstall logstash-7.17.22-x86_64.rpm

配置

  • logstash.yaml配置
mv /etc/logstash/logstash.yml /etc/logstash/logstash.yml_`date +%F`
cat > /etc/logstash/logstash.yml << EOF
#设置节点名称，一般使用主机名
node.name: elk-node-01
#logstash存储插件等数据目录
path.data: /var/lib/logstash
#Logstash监听地址
http.host: "0.0.0.0"
#Logstash监听端口，可以是单个端口，也可以是范围端口，默认9600-9700
http.port: 9600
#Logstash日志存放路径
path.logs: /var/log/logstash
EOF

启动

#配置环境变量
cat >> /etc/profile << EOF
export PATH=$PATH:/usr/share/logstash/bin
EOF

source /etc/profile

验证

  • 查看端口
ss -ntl
  • 验证Logstash
cat > /etc/logstash/logstash-stdin-to-console.conf << EOF
input {
  stdin {}
}

output {
  stdout {}
}
EOF

logstash -f /etc/logstash/logstash-stdin-to-console.conf
  • 验证Logstash
curl -iv 127.0.0.1:9600

ELK日志采集

Nginx环境

注意：涉及主机192.168.23.128

安装Nginx

useradd nginx
wget https://nginx.org/download/nginx-1.22.1.tar.gz
tar -zxvf nginx-1.22.1.tar.gz -C /usr/local/
cd /usr/local/nginx-1.22.1
./configure --prefix=/usr/local/nginx \
--user=nginx --group=nginx \
--with-http_realip_module \
--with-http_v2_module \
--with-http_stub_status_module \
--with-http_ssl_module \
--with-http_gzip_static_module \
--with-stream \
--with-stream_ssl_module \
--with-http_sub_module
chown -R nginx:nginx /usr/local/nginx

配置Nginx

mkdir -p /data/html/
cat > /data/html/index.html << EOF
test learning for EFK
EFK 的学习测试
EOF
chown -R nginx:nginx /data/html/

cat > /usr/local/nginx/conf/nginx.conf << 'EOF'
worker_processes  1;
error_log  logs/error.log  info;
pid        logs/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  logs/access.log  main;
    sendfile        on;
    keepalive_timeout  65;
    server {
        listen       80;
        server_name  localhost;
        charset utf-8;
        location / {
            root   /data/html/;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}
EOF

启动Nginx

setcap cap_net_bind_service=+ep /usr/local/nginx/sbin/nginx
su - nginx
/usr/local/nginx/sbin/nginx -t
/usr/local/nginx/sbin/nginx

日志采集-原生日志

logstash.conf配置

cat > /etc/logstash/conf.d/file-to-logstash.conf << EOF
input {
  file {
    path => ["/usr/local/nginx/logs/error.log*"]
    start_position => "beginning"
  }

  file {
    path => ["/usr/local/nginx/logs/access.log*"]
    start_position => "beginning"
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.23.128:9200", "http://192.168.23.129:9200", "http://192.168.23.128:9200"]
    index => "app-logs-%{+YYYY.MM.dd}"
  }
}
EOF

启动Logstash

rm -rf /var/lib/logstash/*
systemctl start logstash

日志采集-grok插件

logstash.conf配置

cat > /etc/logstash/conf.d/file-to-logstash.conf << EOF
#采集日志文件
input {
  file {
    path => ["/usr/local/nginx/logs/error.log*"]
    start_position => "beginning"
  }

  file {
    path => ["/usr/local/nginx/logs/access.log*"]
    start_position => "beginning"
  }
}

#过滤
filter {
  #用于解析和结构化文本数据
  grok {
    #指定要解析的日志字段和匹配的模式
    match => {
      #针对message字段的解析
      "message" => "%{COMBINEDAPACHELOG}"
    }
  }
}

#发送到Elasticsearch
output {
  elasticsearch {
    hosts => ["http://192.168.23.128:9200", "http://192.168.23.129:9200", "http://192.168.23.128:9200"]
    index => "app-logs-%{+YYYY.MM.dd}"
  }
}
EOF

启动Logstash

注意：加载数据比较慢，需要等待一分钟左右

rm -rf /var/lib/logstash/*
systemctl start logstash
ELK架构详解
悦分享
08-18 357
Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析，采用Java语言编写。实时搜索，实时分析；分布式架构、实时文件存储，并将每一个字段都编入索引；文档导向，所有的对象全部是文档；高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards和Replicas）；接口友好，支持JSON；
【网络架构】ELK
云计算稿手的博客
07-17 1855
ELK介绍
ELK架构设计
weixin_30920853的博客
02-25 372
1、架构一 2、架构二 3、架构三 4、架构四 示例1： 示例二： ELKB简述 E:Elasticsearch 是一个基于Lucene的分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。支持对大容量的数据进行接近实时的存储、搜索和分析操作。 L:Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，过滤转...
ELK日志文件分析系统——概念
最新发布
Lemon__ing的博客
06-13 1437
Elastic Stack (ELK) 是一个功能强大、高度灵活、可扩展的开源解决方案，通过的架构，实现了数据的‌集中采集、高效存储、极速搜索、灵活分析与直观可视化‌。‌强大的分布式引擎 (Elasticsearch)‌ 提供高性能存储与计算。‌灵活的数据管道 (Logstash/Beats)‌ 连接万物并清洗数据。‌直观的交互界面 (Kibana)‌ 让数据说话。‌开源生态与商业增强‌ 满足不同需求。‌近实时性‌ 是监控告警的基石。
elk架构图
weixin_34192732的博客
02-22 210
一、概述 　　笔者为了节约宝贵的服务器资源，把一些可拆分的服务合并在同一台主机。大家可以根据自己的实际业务环境自由拆分，延伸架构。 ...
ELK架构介绍
L08130421的博客
08-09 2117
Elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。它给予Luncene开发，通过RESTful web接口提供全文搜索和分析功能。Logstash是一个开源的服务器端数据处理管理，用于动态地收集、转换和传输数据。Kibana是一个开源的数据分析和可视化平台，是Elastic Stack的一部分。
ElasticSearch（九）：ELK 架构
Men-DD
07-28 5338
ELK架构 Logstash Logstash数据传输原理 Logstash配置文件结构 Logstash导入数据到ES 同步数据库数据到Elasticsearch FileBeat的工作原理 Filebeat安装 ELK整合实战 采集nginx服务器日志 使用FileBeats将日志发送到Logstash 配置Logstash接收FileBeat收集的数据 Logstash输出数据到Elasticsearch 利用Logstash过滤器解析日志 输出到Elasticsearch指定索引......
ELK（elasticsearch-7.17.4-windows-x86-64+logstash-7.17.4-windows-x86-64+kibana-7.17.4-windows-x86-64）
02-14
在标题中提到的ELK Stack版本为7.17.4，这是它的一个具体版本号，而“windows-x86-64”表明该版本是为了在Windows操作系统的64位架构上运行设计的。这套组合在处理日志数据和实现日志分析方面表现出色，被广泛应用于...
kibana-8.17.4-linux-x86-64.tar.gz
04-09
Elastic Stack（也被称为ELK Stack，其中K指的是Kibana）是由Elasticsearch、Logstash和Kibana这三个主要组件构成的，广泛用于日志管理、应用搜索、基础设施监控和安全分析等场景。Logstash负责收集、处理和转发日志...
ngnix.zip----arm版本
10-25
还可以集成其他监控工具，如Prometheus或ELK栈，以获取更详细的性能数据。 9. **反向代理与负载均衡**：学习如何配置Nginx作为反向代理，将请求转发到多个后端服务器，以实现负载均衡和高可用性。 10. **故障排查*...
最新版linux elasticsearch-7.13.2-linux-x86_64.tar.gz
06-16
版本7.13.2是Elasticsearch的一个重要更新，它提供了诸多改进和新特性，适用于Linux x86_64架构的系统。 在Linux环境下安装Elasticsearch 7.13.2，首先需要下载提供的tar.gz压缩包。"elasticsearch-7.13.2-linux-...
最新版linux logstash-7.17.0-linux-x86_64.tar.gz
02-07
1. **Logstash 架构**：Logstash 分为输入（Inputs）、过滤（Filters）和输出（Outputs）三个阶段。输入插件负责收集数据，过滤插件对收集的数据进行清洗、转换，而输出插件则将处理后的数据发送到目标位置，如 ...
ElasticSearch基础入门
weixin_33885676的博客
05-26 212
参考资料 ElasticSearch官网 ElasticSearch介绍 ElasticSearch是一个高扩展、开源的全文检索和分析引擎，它可以快速地存储、搜索、分析海量的数据。 转载于:https://www.cnblogs.com/feiqiangsheng/p/10926125.html...
1、ELK的架构和安装
qq_44894108的博客
12-31 1257
elk：elasticsearch logstash kibana，统一日志收集系统。elasticsearch：分布式的全文索引引擎的非关系数据库，json格式，在elk中存储所有的日志信息，架构有主和从，最少需要2台。logstash：动态的从各种指定的数据源，获取数据，而且对数据进行过滤，分析。按照统一的格式发送到es。kibana：把es的数据进行展示，进行客户端可以理解的操作，汇总、分析和搜索数据的平台。
ELK-架构&部署&实践总结
七路灯
05-10 385
介绍业务规模和架构选择，以及部署说明和实践配置。 基于7.11版本。 目录业务规模架构选择部署说明&实践配置新建用户和修改文件夹权限修改系统配置ElasticsearchKibanaLogstashFilebeat 业务规模 业务每天查询量在千万级，采集数据的规模上亿（后续会更大）。单台Logstash，数据延迟并不大，肉眼可见的Logstash的数据处理能力 架构选择 ELK架构有很多种，这里简单列出常用的几个： 架构1（最为简单） Logstash -> Elasticsearch.
【ELK】框架介绍
qq_41466440的博客
11-09 2879
1.核心组成 ELK是一个应用套件，由Elasticsearch、Logstach、Libana三部分组成，简称ELK；ELK可以将系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清晰，然后进行集中存放并可用于实时检索、分析。上述三款软件归于Elastic.co公司名下，故又简称ELK Stack 2.Elasticsearch介绍 Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析，采用Java语言编写。它的主要特点如下： 实时搜索，实时分析
ELK介绍及架构分析
qq_44717961的博客
04-02 1667
1、ELK介绍 ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES，是一个基于Lucene的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引存储起来，方便业务搜索查询，使用 Java 语言编写。 Logstash是一个具有实时传输能力的数...
常用的ELK/EFK架构
08-10 596
基础架构：1/ Kibana---->elasticsearch---->Logstash(收集) 2/ Kibana---->elasticsearch---->filebeat(收集) 3/ Kibana---->elasticsearch---->Logstash(过滤)---->filebeat(收集) 扩展架构：1/ Kibana---->...
ELK架构详解：优势与应用场景优化
后续章节会介绍其他三种ELK架构，它们各自针对不同场景优化资源利用率和性能，例如引入消息队列缓存以减少数据丢失，或者采用更为复杂的架构来适应大规模、高并发的日志处理需求。 总结来说，ELK组件以其灵活性、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值