elk 定时清理三天前数据

最新推荐文章于 2025-03-31 16:49:46 发布

LifeSecret

最新推荐文章于 2025-03-31 16:49:46 发布

阅读量8.2k

点赞数

分类专栏： elk 文章标签： elk

本文链接：https://blog.youkuaiyun.com/vbaspdelphi/article/details/61203528

版权

elk 专栏收录该内容

30 篇文章

订阅专栏

#!/bin/bash

shijian=`date +%Y.%m.%d -d "3 days ago"`
curl -XDELETE "192.168.0.231:9200/filebeat-${shijian}"

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

LifeSecret

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

ELK整合：ElasticSearch定期删除过期数据

xiatiandexiangrikui的博客

02-26

8229

ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析，并将日志输出到Elasticsearch中。 Elasticsearch：日志分布式...

es数据定时清理_一种基于ELK的数据自动清理方法与流程

weixin_39649660的博客

12-20

1538

本发明涉及涉及ELK、Shell、Kafka、Freemarker等技术领域，尤其涉及一种基于ELK的数据自动清理方法。背景技术：ElasticSearch是一个基于Lucene的全文搜索服务。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。ElasticSearch是用Java开发的，，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云...

参与评论您还未登录，请先登录后发表或查看评论

ELK日志系统通过系统crontab命令设置定期删除日志索引

向心行者

07-09

730

1、需求在前面部署的ELKB日志系统，在实际应用过程中，每天都会产生大量的日志信息，尤其是在开发环境，由于日志级别比较低，每天都会产生大量的日志。为了避免ELK系统过度消耗磁盘和内存，需要考虑定期删除Elasticsearch中的相关日志索引。这里通过Linux系统的crontab命令，并结合Elasticsearch的api实现定期删除日志的目的。 2、编写删除日志索引的脚本 1>、编辑deleteEsData.sh文件 #!/bin/bash #filename:deleteEsData.s

ES删除索引内超过七天的日志数据

最新发布

weixin_45800790的博客

03-31

233

因elk日志采集过多需做到定期进行清理，当时设定索引是没有根据日期创建索引，所以所有数据都在一个索引下，故需进行清理，以下是python脚本内容对所有索引下的数据都进行清理并把执行过程写入日志内。

ELK自动化平台-数据过期自动清理

weixin_33691817的博客

12-22

935

一、数据过期自动清理脚本 1）创建脚本 [root@jump tmp]# cat /server/scripts/check_elk.sh [root@jump tmp]# chmod +x /server/scripts/check_elk.sh 2）脚本如下：（保留最近7天的日志） #!/bin/bash ############################################...

elk四、定时删除elk日志脚本——shell

jiangbenchu的博客

09-24

2797

ES数据定期删除如果不删除ES数据，将会导致ES存储的数据越来越多，磁盘满了之后将无法写入新的数据。这时可以使用脚本定时删除过期数据。方法一、 #/bin/bash #es-index-clear #只保留15天内的日志索引（删除15天前一天的日志） LAST_DATA=`date -d "-15 days" "+%Y.%m.%d"` #删除上个月份所有的索引 curl -XDELETE 'h...

ELK过期索引定时删除脚本

HelloKitty520123的专栏

08-08

647

脚本1： #/bin/bash LAST_DATE=`date -d "14 day ago" +"%Y.%m.%d"` echo ${LAST_DATE} curl -XDELETE 'http://192.168.7.117:9200/*_'${LAST_DATE}'' 脚本2： #!/bin/bash #################################...

ELK-定期清除数据

blues的博客

12-03

3161

#!/bin/bash # @Author: richard # @Date: 2017-08-11 17:27:49 # @Last Modified by: richard # @Last Modified time: 2017-08-11 18:04:58 #保留近 N 天 KEEP_DAYS=7 # 删除前 N的所有天到前N+10天==>每天执行 function get_todele...

ELK索引清理

weixin_38367535的博客

08-12

1140

主要针对Elasticsearch操作我这里的数据没必要留存很久，像java日志只是给开发实时查看的，nginx日志用来写周报图表用，也没必要留存很久。主要操作：查看所有索引（包含索引数据大小） curl 'localhost:9200/_cat/indices?v' 可以加grep过滤删除索引（也删除了对应的数据） curl -XDELETE http://localhost:9200/axt_examination_log-2021.07.30 #删除单条索引 curl -X

ElasticSearch 定时删除指定天数的数据实践

Python编程参考官方媒体账号

03-15

1861

网上对于定时删除 ElasticSearch 索引数据有相当多的文章，有一些是借助 Curator 工具实现，有一些通过 ElasticSearch 的 delete_by_query 语句实现。事实上这几种都可以实现我们想要定期删除数据的效果，粗略翻看了一下（本王还没来得及细看），可以这么理解： delete_by_query 语句适合删除指定索引中的指定数据，例如删除索引 error_log 中距今超过 5 天的数据； Curator 工具适合删除指定的索引，例如删除索引 error_log_20.

ElasticSearch 数据老化清理之Curator

jiangzhuwanshi2008的博客

02-23

1243

前言随着接入ELK日志分析平台的系统增加，每日海量的日志数据使得磁盘空间越发紧张，从而ES的日志清理也成了一个常规操作。而ES官方也提供了一个很好用的工具——curator来实现这个事情...

ELK最佳实践

liaozijian的博客

03-28

505

摘要: 原创出处 https://zijiancode.cn/archives/elkmd 欢迎转载，保留摘要，谢谢！搭建ElasticSearch集群 ElasticSearch官网搭建环境 Ubuntu 18.04.3 LTS 四台架构： arm64 ip : 192.168.1.11(kibana), 192.168.1.13, 192.168.1.14, 192.168.1.15(es集群) 设置vm.max_map_count 设置每台的vm.max_map_count，该内核参数必须至少设

ELK之清理旧日志

u010554181的博客

07-26

620

ELK之清理旧日志

ELK定时删除30天前日志

weixin_34357928的博客

10-16

2953

http://127.0.0.1:9200/_cat/indices?v #!/bin/bash #删除ELK30天前的日志 DATE=`date -d "30 days ago" +%Y.%m.%d` curl -s -XGET http://127.0.0.1:9200/_cat/indices?v| grep $DATE | ...

elk笔记23--定期清理索引

脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到

11-07

1345

elk笔记23--定期清理索引介绍方案&代码方案介绍代码测试注意事项说明介绍在生产环境中，如果日志量过大，就会导致集群持续产生很多索引，占用很多存储空间。因此需要定期清理索引，确保磁盘处于一个比较低的水位。本文使用mysql 存储索引基础信息，基于mysql 中所以保存的时间，定期清理超过指定时间 rollover 生成的索引。方案&代码方案介绍每次新建索引的时候将索引基础信息存放到mysql中，具体包括索引名称、别名、存放时间和ilp信息。每次清理索引的时候从db中查看基础索引

ELK插入，增加，删除查询数据

彭淦淦的博客

05-23

883

4.1 问题本案例要求：使用curl命令连接使用ES数据库使用PUT方法增加数据使用POST修改数据使用GET查询数据使用DELETE删除数据 4.2 步骤实现此案例需要按照如下步骤进行。步骤一：增加数据 [root@es5 ~]# curl -X PUT “http://192.168.1.55:9200/tedu/teacher/1” -d ‘{ “职业”:“诗人”, “名字”:“李白”, “称号”:“诗仙”, “年代”:“唐” }’ {"_index":“tedu”,"_type":“

ELK学习笔记03-基本增删改查

doublewe的博客

08-07

571

1.新建一个索引打开左边的导航栏，选择Dev Tools 在kibana控制台中输入PUT命令，es的索引相当于关系型数据库中的库 PUT /moive_index 点击三角箭头执行，可以看到如下执行成功画面可以在浏览器输入es的路径http://192.168.92.129:9200/_cat/indices?v查看所有的索引，如下可以看到新建的moive_index索引已经创建成功 2.添加一条数据对上面新建的索引moive_index创建一个moive表并添加一条数据

清理Elasticsearch历史索引,物理删除

打卤的博客

02-12

2128

#/bin/bash #es-index-clear #只保留15天内的日志索引 LAST_DATA=`date -d &amp;quot;-15 days&amp;quot; &amp;quot;+%Y.%m.%d&amp;quot;` #删除上个月份所有的索引 curl -XDELETE 'http://ip:port/*-'${LAST_DATA}'*

ELK ② 索引, 创建, 查看, 删除, 分词器安装及使用, 映射, 创建, 查看, 修改,文档,增删改查及局部更新

gaoshan12345678910的博客

02-24

1484

ELK ② 索引, 创建, 查看, 删除, 分词器安装及使用, 映射, 创建, 查看, 修改,文档,增删改查及局部更新

ELK6.2.4数据查询工具三件套安装包下载

总之，ELK 6.2.4的安装包.zip文件为我们提供了一个集成了Elasticsearch、Logstash和Kibana三个核心组件的解决方案，使得用户可以快速部署强大的日志分析系统，进行高效的数据收集、存储、分析和可视化。