ELK6.x版本的环境搭建、日志切割、客户端连接、Curl操作、磁盘索引优化、sentinl邮件设置等记录

最新推荐文章于 2025-01-10 22:29:41 发布
原创 最新推荐文章于 2025-01-10 22:29:41 发布 · 748 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ELK

本文档详细介绍了ELK (Elasticsearch, Logstash, Kibana) 日志系统的搭建过程及其在Mac/Linux环境下的配置方法。涵盖从基础环境搭建到高级应用如邮件告警、索引管理等内容，并提供了Java与Elasticsearch交互的技术方案。

1.环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)

2.(ElasticSearch+LogStash+Kibana)ELK搭建在Mac/Linux系统上6.4.2版本

3.环境搭建之linux下ELK搭建好之后配置sentinl插件,进行邮件告警

4.ELK环境搭建之filebeat根据不同的监控日志文件建立不同的索引

5.Java连接ElasticSearch(low-level-rest-client)的配置和数据的增加/查询

6.脚本清理最近X日之前的ELK日志文件,优化磁盘空间

7.使用kibana的开发工具console做一些elasticsearch的基本查询和设置

8.ELK搭建环境之配置logstash监听文件并利用grok插件进行切割利于统计

9.通过curl或者http请求对elasticsearch中的数据进行增删改查

10.java使用transportClient连接elasticsearch并做接口实现增删改查ES6.4.3版本

11.elasticsearch6.4.2安装x-pack安全认证后,java如何使用transportclient连接/resthighlevelclient连接

12.JAVA程序多线程批量初始化ES数据时产生的异常问题以及解惑记录

…
未完待续

三杀！超详解ELK！
伟大的渺小的博客
11-02 983
ELK详解与实验部署 文章目录 前言 一、ELK的理论基础 1.1：ELK是什么？ 1.2：ELK需求的场景 1.3：ELK工具介绍 1.3.1：Logstash工具介绍 1.3.2：ElasticSearch工具介绍 1.3.3：Kibana工具介绍 1.4：完整日志系统基本特征 1.5：ELK的工作流程 二、ELK的实战模拟 2.1：环境部署 2.2：实验拓扑 2.3：实验部署 2.3.1：开局布置 2.3.2：节点上部署Elasticserch软件 2.3.3：部署Elasticsearch图形化界面
ELK 日志系统 性能优化
weixin_51582215的博客
09-07 1841
近一年内对公司的 ELK 日志系统做过性能优化，也对 SkyWalking 使用的 ES 存储进行过性能优化，在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。
ELK:NOC ELK + FORTINET日志
05-10
ELK设置来监视Fortigate日志 =============================================== 工具 麋鹿[如何安装ELK泊坞窗]（ ） 抵制 配置Fortigate SysLog 第一步是配置Fortigates。 这是Syslog格式： config log syslogd setting set status enable set server "192.168.xxx.xxx" set port 514 end config log syslogd filter set severity error end 要注意的一件事是日志级别设置为错误。 原因是默认情况下，Fortigate系统将通过syslog记录所有会话，这将导致大量数据。 在Elasticsearch中存储会话数据每周会产生数百GB的数据，
2019年ElasticSearch6.2.2版ELK日志分析系统实战教程
02-28
2019年新录制的ELK日志分析系统课程，采用elasticSearch+Logstash+Kibana；6.2新版本, 阿里云服务器上安装部署，讲解性能优化等知识点; ElasticSearch, Kibana, Logstash基础到项目实战 项目实战讲解ELK采集业务应用日志，整个流程配置，分析数据等。购买后加进技术问答群Q群699347262备注订单号后四位
Elasticsearch-Fortigate:带有用于 FortiGate 的 Grok 过滤器的 Logstash.conf
05-31
Elasticsearch-Fortigate 带有用于 FortiGate 的 Grok 过滤器的 Logstash.conf 这个logstash 配置文件具有识别数字的 grok 过滤器，因此您可以使用统计数据，如接收字节和发送字节以及其他带有有用数字的数字字段。 也许您对Elasticsearch维护很感兴趣，该维护会为您删除较旧的日志： :
[elk]-kibana6.6.0安装sentinl6.6.0插件监控报警
爷来辣的博客
02-22 2246
kibana6.6.0安装sentinl6.6.0插件监控报警 先安装好6.6.0版本的es和kibana 安装nodejs（npm）：yum install -y nodejs 安装Gulp（本文为全局安装）：npm install -g gulp 安装rsync：yum install rsync -y 安装sentinl cd sentinl np...
ELKB 7.X 日志系统搭建
Daijianshi_123的博客
05-02 1547
ELKB是什么 ELKB是目前比较流行的日志系统解决方案，是通过一套组件集合成的解决方案。这套组件分别为ElasticSearch，LogStash，Kibana，FileBeat。 各组件的作用如下： ElasticSearch（简称es）：基于Apache Lucene构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。 LogStatsh：数据收集额外处理和数据引擎。支持动态的...
Centos7 docker-compose安装ELK+Filebeat.zip
10-16
在IT行业中，ELK（Elasticsearch、Logstash、Kibana）栈是广泛用于日志管理和分析的工具集合。配合Filebeat，可以构建出一个强大的日志收集、处理和可视化系统。本教程将详细介绍如何在CentOS 7上利用docker-compose...
ELK性能优化实战分析
2401_89829292的博客
01-10 770
可以从三方面进行优化：JVM 性能调优、ES 性能调优、控制数据来源第一步是 JVM 调优。因为 ES 是依赖于 JVM 运行，没有合理的设置 JVM 参数，将浪费资源，甚至导致 ES 很容易 OOM 而崩溃。（1）查看 GC 日志问题：Young GC 和 Full GC 都很频繁，特别是 Young GC 频率高，累积耗时非常多。(2) 使用 jstat 看下每秒的 GC 情况参数说明用下面几种方式都可查看新、老年代内存大小 (1) 使用 jstat -gc pid 查看 Eden 区、老年代空间大小
ELK+Kafka搭建日志系统
rightlzc的博客
06-10 4283
目录1.什么是ELK2.搭建ELK日志系统2.1 安装JDK2.2 安装Zookeeper2.3 安装Kafka2.4 安装ELK2.4.1 安装Elasticsearch2.4.2 安装Elasticsearch-head(可选)2.4.3 安装Logstash2.4.4 安装Kibana2.5 Nginx代理Kibana3.日志采集3.1 收集系统日志3.2 收集Nginx日志 1.什么是ELK 通俗来讲，ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组成，这三
ELK + Sentinl 日志实时监控报警 钉钉、邮件
热门推荐
Dragon714的博客
06-08 1万+
1、docker安装elk镜像：sebp/elk挂出的端口：5044，5601，9200，93002、进入容器，安装sentinl插件进入kibana安装目录：/etc/kibana/bin ，执行：./kibana-plugin install https://github.com/sirensolutions/sentinl/releases/download/tag-6.2.3-3/sent...
FortiGate设置E-mail告警
weixin_33889665的博客
12-09 1170
1.配置邮件服务器 　　 2.配置告警 　 转载于:https://www.cnblogs.com/xinghen1216/p/10091414.html
EFK+sentinl报警机制
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
10-24 3117
EFK的部署可以参考https://blog.csdn.net/luanpeng825485697/article/details/83312662 fluentd日志采集的语法可以参考 ：https://blog.csdn.net/luanpeng825485697/article/details/83339985 EFK缺少一个报警机制 下面我们尝试几种方法来设置报警 KAAE 先把kiban...
CentOS7上yum部署ELK 6.5.1集群
运维技术栈
12-09 1213
这里写自定义目录标题1. yum部署单机ELK1.1 部署elasticsearch1.1.1 部署jdk1.1.2 安装Elasticsearch1.1.3 验证1.1.4 配置信息1.1.5 reference1.2 部署kibana1.2.1 Install kibana1.2.2 配置信息1.2.3 验证1.2.4 reference2.部署metricbeat采集系统指标2.1 安装m...
（FortiGate）飞塔防火墙防病毒解决方案
weixin_33859665的博客
02-06 1083
1. 概述计算机病毒一直是信息安全的主要威胁。而随着网络的不断发展，网络速度越来越快，网络应用也越来越丰富多彩，使得病毒传播的风险也越来越大，造成的破坏也越来越强。据ICSA(国际计算机安全协会)的统计，目前已经有超过90%的病毒是通过网络进行传播的。内网用户访问Internet时，无论是浏览WEB页面，还是通过FTP下载文件，或者是收发E-mail，甚至MSN聊天等，都可能...
【python 监控报警】错误日志监控并钉钉报警
赖德发的博客
01-10 3047
将钉钉报警服务做出接口之后，对程序进行错误日志监控，一旦产出错误日志，立马报警出来。 # -*- encoding=utf-8 -*- import requests import os """ 报警配置模板 """ host_url="此次填写钉钉报警接口---" text="DT-IMG-2:text_anti_spam_dongli出现错误日志@东篱" url=host_url+text ...
【docker】docker 运行日志清理脚本，保留ELK最新30天日志
michaelwoshi的博客
05-24 1405
# cat clean_log.sh ################################################################## #!/bin/sh #删除ELK30天前的日志 while true do DATE=`date -d "30 days ago" +%Y.%m.%d` Xs=`curl -s -X GET http://xx.xx.xx.xx:9200/_cat/indices?v| grep $DATE | awk -F '[ ..
elk（elasticsearch+logstash+kibana）安装入坑
二月初二
09-02 712
关于日志，大家应该都有所了解，日志的作用是为了排查问题，尤其是突发的问题，或者提供监控报警功能。传统的日志监控，都是在生产机上通过命令grep或less等命令查询日志文件，当服务器集群，数量多的时候，传统方式效率低下，无法及时确定问题，难以监控。最近公司打算优化日志监控，查阅大量资源，发现了一款开源日志系统-elasticsearch+logstash+kibana。 下面大致介绍一下elk的三...
kibana sentinl告警邮件时间戳转日期及时间偏差8小时问题的解决
weixin_40863264的博客
02-26 2975
     今天做了个kibana的sentinl插件的一个告警，期间遇到了几个问题。    1.es里存的时间是timestamp类型，发送告警邮件时需要把时间转换为日期格式。    2.接收到的邮件里的时间是UTC时间，和北京时间差了8个小时。    解决方案：    在搜索es的时候在结果中添加一个字段，并通过脚本的方式将时间偏差修正过来。"script_fields": { ...
elk看什么日志占用内存大
最新发布
06-06
<think>我们参考了用户给出的引用材料，其中提到ELK日志分析系统的组成和工作原理。用户问题聚焦于“ELK中占用内存较大的日志”和“分析方法”。根据引用[4]，Elasticsearch的内存设置是一个关键点，它建议分配系统内存的一半给Elasticsearch（不超过32GB）。但这并没有直接回答哪些日志占用内存大，而是指导了如何设置内存。引用[5]描述了ELK的工作流程：日志通过FileBeat收集，经Logstash处理，存入Elasticsearch，最后由Kibana展示。因此，占用内存较大的部分可能出现在Elasticsearch（存储和索引）和Logstash（处理）环节。具体到日志文件本身，占用内存大的日志通常具有以下特征：1.日志量巨大（高吞吐量、高并发应用）2.日志内容包含大量详细信息（如完整堆栈跟踪、调试信息）3.日志格式复杂（如多行日志）4.非结构化日志（需要更复杂的解析和索引）分析方法：1.确定日志来源：通过ELK中的索引模式（indexpattern）查看不同来源的日志量。在Kibana的“Discover”界面，选择不同的索引，查看日志量大小。2.按来源分析：在Kibana中，可以按应用程序或主机名进行分组，然后观察日志条数或大小。通常，日志量大的应用产生的日志占用存储（内存和磁盘）也会更大。3.使用聚合查询：在Kibana中使用聚合查询，按照特定字段（如host.name,log.file.path）进行分组，并统计日志事件数量或计算_source字段的大小（注意：计算_source大小需要开启scriptedmetricaggregation，并且可能影响性能）。4.查看索引大小：在Kibana的“StackManagement”中，可以查看Elasticsearch中各个索引的大小。占用空间大的索引对应的日志通常也占用较多内存（因为Elasticsearch会将部分索引数据缓存在内存中以提高查询速度）。5.使用Elasticsearch的API直接查看索引和节点的内存使用情况：-查看节点内存使用：`GET_nodes/stats`-查看索引内存使用：`GET/_cat/indices?v`可以查看每个索引的大小6.关注Logstash：Logstash处理日志时，如果使用大量过滤器（如grok、json），且处理大量日志，则可能会消耗较多内存。可以通过Logstash的监控接口（如监控API）查看其内存使用情况。针对用户问题“哪些日志占用内存大”，我们通常指的是在Elasticsearch中存储这些日志的索引占用的内存。因此，分析索引的大小是关键。同时，也需要注意在日志处理过程中（如Logstash）的内存占用。总结：占用内存较大的日志通常来自日志量大的应用，可以通过Kibana界面分析不同来源的日志量，或通过Elasticsearch的API查看索引大小来确定。此外，还可以优化：1.对日志进行采样：减少不必要的日志输出。2.调整日志级别：避免输出低级别（如DEBUG）的日志。3.优化索引设置：如使用合适的索引模板，控制字段类型和索引选项（例如，不需要索引的字段设置为enabled:false）。4.调整Elasticsearch的JVM堆内存设置，确保有足够内存（引用[4]）。最后，用户可能需要具体操作步骤，因此我们给出如下步骤：步骤1：在Kibana中查看索引大小-进入Kibana->StackManagement->IndexManagement-观察各个索引的存储大小（size）和文档数（doccount）步骤2：在Discover页面按字段分组统计-进入Discover，选择目标索引模式-添加聚合字段，例如：host.name或log.file.path-设置聚合指标为“Count”（计数）或“Sumofbytes”（如果日志包含字节大小字段）-执行搜索，查看哪个来源的日志量最大步骤3：使用ElasticsearchAPI-在终端执行：`curl-XGET'localhost:9200/_cat/indices?h=index,pri.memory.size,total.memory.size&v'`获取每个索引占用的内存大小（注意：pri.memory.size表示主分片的内存大小）-或者使用更全面的节点统计：`curl-XGET'localhost:9200/_nodes/stats/indices?human'`注意：在Elasticsearch中，索引的内存占用主要与索引数据的大小和缓存有关，因此日志量大的索引自然占用更多内存。另外，日志占用内存的大小也与索引的配置（如是否启用_source，是否启用doc_values等）有关。因此，通过上述方法，用户应该能够定位到哪些日志（对应哪些索引或来源）占用内存较大。生成相关问题：1.如何优化ELK中的内存使用？2.如何减少不需要的日志输出？3.如何调整Elasticsearch的索引策略以节省内存？4.如何监控ELK各个组件的内存使用情况？</think> ### ELK中占用内存较大的日志分析方法 根据引用资料，ELK系统中占用内存较大的日志通常具有以下特征[^1][^5]： 1. **高频日志源**：如高并发业务的访问日志、频繁报错的应用日志 2. **冗长日志内容**：包含完整堆栈跟踪的异常日志、调试级别日志（如Java堆栈跟踪） 3. **非结构化日志**：未格式化的自由文本日志（需要更多内存进行解析） 4. **大容量审计日志**：安全审计记录、行为轨迹日志 5. **多行事务日志**：如数据库事务日志、分布式事务跟踪 --- ### 分析方法（基于引用资料） #### 1. 定位高内存日志源（通过Kibana） ```bash # Kibana Discover中执行聚合查询 size: >10MB # 筛选大体积日志 fields: host.name, log.file.path # 按主机和日志文件分组 aggregation: sum(bytes) # 计算总量 ``` ![Kibana日志体积分析示意图](kibana-size-analysis.png) *可视化不同日志源的内存占用分布[^3][^5]* #### 2. Elasticsearch内存分析（引用[4]优化） ```bash # 查看索引内存占比（通过ES API） GET /_cat/indices?h=index,pri.memory.size&v # 查询字段级内存占用 POST /_resource_usage_analyzer { "index": "your-log-index-*", "field": "message" # 重点分析日志内容字段 } ``` *结果将显示具体索引和字段的内存消耗情况* #### 3. Logstash管道分析（引用[5]工作流） ```ruby # logstash.conf 添加内存监控 output { elasticsearch { ... } stdout { codec => rubydebug { metadata => true # 输出处理耗时和内存消耗 } } } ``` *通过日志观察各日志源的解析内存消耗* #### 4. 通过FileBeat定位（引用[5]架构） ```yaml # filebeat.yml 启用资源监控 monitoring: enabled: true metrics: enabled: true period: 30s ``` *在Kibana Stack Monitoring中查看各日志采集点的内存负载* --- ### 优化建议（基于引用资料） 1. **结构化日志处理** ```grok filter { grok { match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:msg}" } } } ``` *减少未解析文本的内存占用[^5]* 2. **内存分配优化**（引用[4]） ```bash # 设置ES内存为物理内存50%（不超过32GB） export ES_HEAP_SIZE=16g ``` 3. **日志级别过滤** ```yaml # filebeat.yml 忽略DEBUG日志 processors: - drop_event: when: equals: log.level: "debug" ``` 4. **采样处理高流量日志** ```ruby # logstash.conf 进行采样 filter { if [type] == "high_volume_log" { sample { ratio => 0.1 } } } ``` --- ### 关键指标阈值参考 | 日志类型 | 典型内存/条 | 风险阈值 | |----------|------------|---------| | 堆栈跟踪日志 | 10-50KB | >100KB/条 | | 访问日志 | 1-2KB | >5KB/条 | | 审计日志 | 5-10KB | >20KB/条 | | 调试日志 | 0.5-2KB | >3KB/条 | > 当单日日志索引超过50GB时需重点关注内存优化（基于引用[4]的内存配置建议）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值