ELK平台性能优化（不断完善中）

最新推荐文章于 2025-11-24 14:45:00 发布
原创 最新推荐文章于 2025-11-24 14:45:00 发布 · 1.3w 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch

本文介绍了ELK（Elasticsearch、Logstash、Kibana）平台的性能优化策略，包括在架构层面，在logstash shipper和index之间增设缓存，优化Elasticsearch的JVM配置、索引性能，以及调整logstash的filter和output参数，以提升系统整体性能。

架构层面

  • 在logstash shipper和index之间增加redis或kafaka代理缓存

Elasticsearch

  • ES系统性能

    • 让JVM使用OS的max-open-files 

      ulimit -n 1000000
es_parms="-Delasticsearch -Des.max-open-files=ture"

    • 增加ES JVM内存大小，至少2G，越大越好

    • 修改elasticsearch.yml配置文件

      
#锁定内存不使用swap

bootstrap.mlockall: true

  • ES索引性能

    • 索引配置

      
#关闭副本

index.number_of_shards: 1
最低0.47元/天 解锁文章
数据平台架构优化：提升系统性能与稳定性
AI天才研究院
02-12 917
数据平台架构优化旨在解决数据规模增长、业务需求变化、技术架构老化等问题带来的挑战，提升数据平台的性能、稳定性、可扩展性、高可用性和安全性，为企业提供更强大的数据处理和分析能力。阐述数据平台架构优化的背景、目的、范围和预期读者。介绍数据平台架构的核心概念，并使用 Mermaid 流程图展示其相互关系。详细分析提升数据平台性能和稳定性的关键策略，包括数据存储优化、数据处理优化、架构设计优化等。结合实际案例，使用代码示例演示如何进行数据平台架构优化。探讨数据平台架构优化在不同行业和业务场景下的应用。
大模型训练集群容量规划：架构师的GPU资源调度与性能优化
AI天才研究院
08-06 634
大模型训练集群容量规划面临着诸多挑战。一方面，要准确预测模型未来的发展趋势，包括模型规模的增长速度、新模型架构的计算需求等，从而确定合适的集群规模。另一方面，不同类型的大模型（如语言模型、图像模型）对计算资源的需求特性不同，如何在集群中合理分配资源以满足多样化的训练任务是一大难题。在GPU资源调度方面，如何避免资源的浪费和过度分配，提高资源利用率是核心问题。同时，不同训练任务之间可能存在优先级差异，如何根据任务优先级进行GPU资源的动态分配也是需要解决的关键问题。
elk之磁盘写入性能
daiyudong2020的博客
04-18 3104
1.基本概念 index的shard的数量会决定同时写入多少个磁盘 环境1： 1.数据流：logstash(127.0.0.1)->elasticsearch 2.磁盘：12个盘，SATA 3.集群规模：2台 4.qps峰值：1700/s 5.磁盘IO：100% 环境2： 1.数据流 ：logstash(127.0.0.1)->elasti
ELK 性能优化实践
文盲青年的博客
01-08 2511
一、背景介绍 近一年内对公司的 ELK 日志系统做过性能优化，也对 SkyWalking 使用的 ES 存储进行过性能优化，在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。 ELK 架构作为日志存储方案 ELK日志架构.png 二、现状分析 1. 版本及硬件配置 JDK：JDK1.8_171-b11 (64 位) ES集群：由3台16核32G的虚拟机部署 ES 集群，每个节点分配 20 G 堆内存 ELK版本：6.3.0 垃圾回收器：ES 默认指定的老年代（CMS）+
Kafka核心概念全解析：Broker、Topic、Partition
最新发布
fykam的博客
11-24 1214
摘要： 本文深入解析Kafka的核心概念Broker、Topic和Partition。Broker是Kafka集群中的节点，负责消息存储；Topic作为逻辑分类，实现消息的模块化管理；Partition通过物理分区提升系统吞吐量和可靠性。通过命令行工具演示了Topic创建（含权限问题解决方案）及信息查看操作，为后续学习生产者和消费者打下基础。文章属于《深入浅出Kafka》系列，建议按顺序阅读以系统掌握Kafka技术栈。
ELK性能优化说明
手边笔记
03-31 6873
ELK性能优化简要说明 1. 系统部署说明 组件 机器配置 说明 ElasticSearch&Kibana 3 * (32 core + 128GB mem + SAS 3.6T*12) EK混部 Logstash 3 * (40 core + 32GB mem) 单独部署，比较耗cpu DS&Kafka 5 ...
elk 性能吞吐问题
weixin_33913332的博客
02-07 284
2019独角兽企业重金招聘Python工程师标准>>> ...
【ElasticSearch】ELK简介
No8g攻城狮的博客
10-24 1万+
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。ElasticSearch官网。
Python日志分析与监控大揭秘：集成ELK与优化性能的绝招
[Python日志分析与监控大揭秘：集成ELK与优化性能的绝招](https://openkruise.io/assets/images/k8s-log-sidecar-5f6f7b73b65320bc472ee390052499c6.png) # 1. Python日志分析与监控概述 ## 1.1 日志分析的重要性 ...
ELK日志平台简单搭建方案
03-20
### ELK日志平台简单搭建方案 #### 一、引言 随着信息技术的快速发展，日志数据变得越来越庞大且复杂，对于...随着业务的发展和技术的进步，ELK平台也将不断进化和完善，成为企业运维和数据分析不可或缺的重要工具。
ES部署单机多实例
weixin_43214808的博客
03-26 1866
前提背景：公司项目发展，ES集群对其他项目产生压力，不得不分离出ES集群 准备工作： 1、3台服务器 每台内存64G 提供12块盘（好像是1.5T） 磁盘分别做了raid0，读写速率快，并且每台服务器上有 两个节点，不用担心数据的问题。 每台节点分别占用一般的磁盘空间，一共6个节点 2、配置文件指定目录，以及集群节点间的健康检查 3 （特别注意：每个结点的第一块盘需要创建eslogs） 3、配...
Logstash的介绍、原理、优缺点、使用、持久化到磁盘、性能测试1
08-03
5. 输入，以下是常见得输入内容 5. 可伸缩性 5. 使用命令行运行一个简单的logstash程序
Logstash性能调优
it_lihongmin的博客
03-28 2万+
性能调节 一、性能故障排除 Logstash建议在修改配置项以提高性能的时候，每次只修改一个配置项并观察其性能和资源消耗（cpu、io、内存）。性能检查项包括： 1、检查input和output设备 日志存储的速度和它所连接的服务的速度一样快。日志存储只能像输入和输出目的地一样快速地消耗和生成数据！ 1、检查...
针对Logstash吞吐量一次优化
热门推荐
houzhe_adore的博客
05-04 4万+
Logstash性能优化：场景：      部署节点配置极其牛逼（三台 48核 256G内存 万兆网卡的机器），ES性能未达到瓶颈，而filebeat又有源源不断的日志在推送（日志堆积），此时却发现ES吞吐量怎么也上不去，基本卡在单logstash 7000/s 的吞吐。      这时候我们基本确定瓶颈在logstash上。logstash部署在服务端，主要处理接收filebeat（部署在节点机
ELK下之Logstash性能调优（从千/秒=>万/秒=>10万/秒）
weixin_43390992的博客
03-31 2万+
介绍 Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。 Logstash优化 Logstash建议在修改配置项以提高性能的时候，每次只修改一个配置项并观察其性能和资源消耗（cpu、io、内存）。性能检查项包括： 1、检查input和output设备 1）、CPU 2）、Memory 3）、io 1、磁盘io 2、网络io 2...
【教你通透ELK】Logstash 性能优化
走向CTO的路上...
08-16 950
数据处理复杂、过滤器插件多：当数据处理复杂、过滤器插件多时，Logstash的处理时间可能会增加，因此需要通过减少过滤器插件数量、合并多个过滤器插件、使用多线程插件等方式来提高性能。数据量大、数据来源多：当数据量大、数据来源多时，Logstash可能会出现性能瓶颈，因此需要通过优化配置、增加缓存大小、使用多线程插件等方式来提高性能。硬件资源有限：当硬件资源有限时，Logstash的性能可能会受到影响，因此需要通过调整JVM参数、优化插件和资源配置等方式来提高性能。在测试环境中可以关闭。
ELK的优点和局限性
lonely_baby的博客
02-28 2146
学习成本较高：由于ELK是一套比较复杂的系统，对于初学者来说，需要一定的学习成本，包括ES的数据建模、Logstash的数据收集和处理、Kibana的数据可视化等方面的知识。硬件成本高：由于ELK需要处理大量的数据，因此需要相应的硬件支持，包括大内存、高速磁盘和高性能的处理器等，这可能会增加成本和复杂性。实时性高：ELK可以实现实时索引和搜索，支持高效的日志收集和处理，可以帮助用户及时发现问题和异常，提高系统的响应速度和稳定性。
Logstash优化心得
Big-Brian的博客
09-19 9440
版权声明：本文为原创文章，未经博主允许不得转载。重点内容 背景前些时间测试线上ELK环境，发现beats组件直连elasticsearch数据灌入异常快，但是过了logstash数据明显迟缓。判定logstah的灌入存在瓶颈。以下为logstash调优细节。环境本次针对的优化对象是线上的日志分析平台，主要数据源为metricbeat和filebeat（基础服务器数据和应用日志） ES节点：顶配3点集
Logstash性能优化(1)，15个经典面试问题及回答思路
2401_84248681的博客
04-17 1107
三节点 logstash 吞吐量 7000 -> 10000 （未达到logstash吞吐瓶颈，目前集群推送日志量冗余） logstash不处理任何解析，采用stdout输出方式，最高吞吐 11w/s。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！stop两个logstash节点后，单节点logstash吞吐峰值15000 （集群目前应该有 2w+ 的日质量，单节点采集1w5，所以为单节点峰值）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值