ELK集群-集群架构简介(一)

最新推荐文章于 2025-04-16 03:40:38 发布
最新推荐文章于 2025-04-16 03:40:38 发布
阅读量1.1k 收藏
点赞数
分类专栏： ELK集群 文章标签： ELK集群架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cvntopuyef/article/details/84555378
版权

环境

1.系统:CentOS7
2.ELK:elasticsearch-6.2.2,logstash-6.2.2,kibana-6.2.2 下载
3.Kafka集群:kafka-2.11,zookeeper(当前篇幅中只单机演示,后期补上集群配置)

ELK搭建架构图

只是个人理解,有更好的建议或者想法,欢迎程序猿朋友留言交流

在这里插入图片描述

详细配置,请见博客

ELK 集群部署
随笔亦行
09-25 2847
ELK 分为三部分组成： elasticsearch、logstach、kibanaelasticsearch: elasticsearch是个分布式搜索和分析引擎，能对大容量的数据进行接近实时的存储、搜索和分析操作logstash :数据收集引擎支持动态从各种数据源收集数据，并对数据进行过滤、分析丰富的统一格式等操作，然后存储到指定位置，这里将数据发送给elasticsearch，logstash具有强大的插件功能用于日志处理。
搭建ELK集群
chenkya的博客
04-08 827
一、ELK介绍： Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责...
ELK集群
weixin_40018205的博客
07-28 522
Cat <<EOF <<中止符号 Cat >f1 <<EOF 重定项 < > >> << Stdin 0 标准输入（读） Stdout 1 标准输出（写） Stderr 2 标准错误（写） [root@rootroom9pc01 ~]# ulimit -n 1024 在linux中都是文件 文件描述符 ...
ELK之简介+Elasticsearch集群部署+索引管理
最新发布
2303_77178063的博客
04-16 1284
Logstash 作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由 Elasticsearch 存储，Kibana 对日志进行可视化处理。
第一章,elk集群架构概念简介
weixin_30721899的博客
04-04 186
一,什么是ELK 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为stactic.co，ELK stack的主要优点有如下几个： 1.处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能 2.配置相对简单：elas...
『互联网架构』ELK集群的搭建
IT架构圈博客
08-29 1953
说说部署，这里确实要注意下，我自己最开始部署的时候，遇到了很多的坑，会给大家说，避免自己部署的时候在遇到。
ELK集群搭建
ansheng0239的博客
07-17 168
基于5台虚拟机,搭建ELK集群. 方案: 1. ELK是日志分析平台,而不是一款软件,是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表： Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分析、处理 Kibana:负责日志的可视化 2. ELK组件在海量日志系统的运维中,可用于解决分布式日志数据集中式查询和管...
ELK集群搭建(基础教程)
lqcbj的博客
01-30 3709
ELK集群搭建(基础教程) 目录： 机器准备 集群内各台机器安装Elasticsearch 安装部署Kafka（注：每个节点都配置，注意ip不同） 安装logstash工具 安装filebeat ELK收集Nginx的json日志 ELK收集Nginx正常日志和错误日志 ELK收集Tomcat日志 ELK收集docker日志 配置filebeat收集单个docker日志 modules日志收集 使用redis作为缓存收集日志 使用Kafka做缓存收集日志
ELK集群（kibana）
weixin_40018205的博客
07-28 627
知识点总结 ES集群 ELK kibana 安装 json Restful API http method     [root@es1 ~]# /usr/share/elasticsearch/bin/plugin list Installed plugins in /usr/share/elasticsearch/plugins: - bigdesk - kopf - ...
elk集群部署手册
08-22
elasticsearch集群，ELK(日志分析系统)： Elasticsearch + Logstash + Kibana集群环境部署及应用
ELK集群架构优化
江晓龙的博客
07-19 841
当日志采集的数据量达到了上百G，那么就需要引入kafka消息队列了，kafka处理消息数据比redis强大很多，并且支持集群模式。当量级很大时，查询比较慢，这时就可以去扩展ES集群的节点数量，ES是分布式集群，可以轻松的完成节点扩缩容。如果日志数据入库很慢，这时就需要去多增加几个logstash，同时去处理数据，加快数据入库。...
ELK集群的搭建
Messi的小迷弟
06-21 225
ELK集群的搭建 一、复制虚拟机 二、修改主机名和主机列表 因为是复制的所以hostname和ip地址都和原主机是相同的，不能直接连接MobaXterm 所以需要修改主机名和ip地址，我复制了两个，所以两个复制的都需要修改 1．网络地址修改 （1）输入：vi /etc/sysconfig/network-script/ifcfg-enp0s3 修改网络ip地址 test_elk002 test_elk003 2．主机名修改 （1）hostnamectl set-hostname test01 （
ELK 企业级日志分析系统之集群部署
2301_76858832的博客
07-12 1945
node1节点（ 2 C / 4 G）：node1 / 192.168 .247 .80 node2节点（ 2 C / 4 G）：node2 / 192.168 .247 .90 Apache节点：apache / 192.168 .247 .131输入采用标准输入，输出采用标准输出（类似管道），新版本默认使用 rubydebug 格式输出使用 rubydebug 输出详细格式显示，codec 为一种编解码器使用 Logstash 将信息写入 Elasticsearch 中。
（一）单集群部署ELK
Spider_xiaoma的博客
11-22 378
官网下载地址：https://www.elastic.co/downloads/logstash 官网文档地址：https://www.elastic.co/guide/en/logstash/current/index.html 中文文档地址：http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html 1. ELK的组成部分 ELK的组成部分由：elasticsearch、logstash、kibana、filebeat组成 elasti.
ELK集群搭建（二）
变成习惯
04-24 1823
ELK集群部署 ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。 ElasticSearch ...
ELK-介绍及Elasticsearch集群搭建
2302_77503226的博客
03-09 1095
ELK是三个开源软件的缩写，分别为Elasticsearch、Logstash、kibana它们都是开源软件。后来新增了一个FileBeat，它是一个轻量及的日志收集处理工具，因为Logstash由java程序开发，比较消耗内存资源，后来将Logstash使用go语言重新编译，升级为了FileBeat。 Elasticsearch是一个基于Lucene搜索引擎的NoSql数据库，用于存储Logstash（日志管道工具）收集来的数据，最后由Kibana图形化界面工具来呈现出来，它工作在Elasticse
ELK架构介绍
L08130421的博客
08-09 2046
Elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。它给予Luncene开发，通过RESTful web接口提供全文搜索和分析功能。Logstash是一个开源的服务器端数据处理管理，用于动态地收集、转换和传输数据。Kibana是一个开源的数据分析和可视化平台，是Elastic Stack的一部分。
elk集群搭建
03-19
### ELK 集群搭建教程与配置指南 #### 1. Elasticsearch 的安装与配置 Elasticsearch 是 ELK 栈的核心组件，负责存储和索引日志数据。以下是其基本安装与配置流程： - **下载与解压** 下载官方提供的 Elasticsearch 压缩包并解压至目标服务器。 - **配置文件调整** 编辑 `/etc/elasticsearch/elasticsearch.yml` 文件[^4]，设置集群名称、节点名称以及绑定地址等参数。例如： ```yaml cluster.name: my-elk-cluster node.name: node-1 network.host: 0.0.0.0 discovery.seed_hosts: ["node-2-ip", "node-3-ip"] cluster.initial_master_nodes: ["node-1", "node-2", "node-3"] ``` - **启用 SSL/TLS 加密通信** 创建自签名证书 `elastic-certificates.p12` 并将其复制到各节点的 `config` 目录下[^3]。通过此方式增强集群间的安全性。 #### 2. Logstash 的部署与配置 Logstash 负责收集、解析和转发日志数据至 Elasticsearch 中。 - **安装 Logstash** 使用官方提供的二进制包完成安装。 - **编写输入插件配置** 在 `logstash.conf` 文件中定义日志源路径及其格式化规则。例如： ```conf input { file { path => "/var/log/*.log" start_position => "beginning" } } filter { grok { match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME:host} %{DATA:message}" } } } output { elasticsearch { hosts => ["http://elasticsearch-node-1:9200", "http://elasticsearch-node-2:9200"] } } ``` #### 3. Kibana 的初始化与可视化管理 Kibana 提供了一个友好的 Web UI 来查询和展示 Elasticsearch 数据。 - **启动服务** 修改 Kibana 的配置文件 `/opt/kibana/config/kibana.yml`，指定连接的目标 Elasticsearch 地址。 ```yaml server.port: 5601 server.host: "0.0.0.0" elasticsearch.hosts: ["http://elasticsearch-node-1:9200"] ``` - **创建仪表盘** 登陆 Kibana 后台界面，利用内置工具设计适合业务需求的数据视图。 --- #### 注意事项 在实际操作过程中可能遇到各种问题，比如网络连通性异常或者权限不足等情况。此时可以借助 RocketMQ 自带的命令行工具排查消息队列运行状况[^1]；对于 Kafka 类型的消息中间件，则需按照特定方法同步配置文件至远程主机上[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值