elk 定时清理三天前数据

最新推荐文章于 2024-11-24 19:17:42 发布

LifeSecret

最新推荐文章于 2024-11-24 19:17:42 发布

阅读量8.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： elk 文章标签： elk

本文链接：https://blog.youkuaiyun.com/vbaspdelphi/article/details/61203528

elk 专栏收录该内容

30 篇文章

订阅专栏

本文介绍了一段Bash脚本，用于删除指定日期前的Filebeat Elasticsearch索引。通过curl命令配合Elasticsearch API实现自动化清理工作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/bin/bash

shijian=`date +%Y.%m.%d -d "3 days ago"`
curl -XDELETE "192.168.0.231:9200/filebeat-${shijian}"

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

LifeSecret

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

ELK整合：ElasticSearch定期删除过期数据

xiatiandexiangrikui的博客

02-26

8246

ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析，并将日志输出到Elasticsearch中。 Elasticsearch：日志分布式...

es数据定时清理_一种基于ELK的数据自动清理方法与流程

weixin_39649660的博客

12-20

1543

本发明涉及涉及ELK、Shell、Kafka、Freemarker等技术领域，尤其涉及一种基于ELK的数据自动清理方法。背景技术：ElasticSearch是一个基于Lucene的全文搜索服务。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。ElasticSearch是用Java开发的，，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云...

参与评论您还未登录，请先登录后发表或查看评论

ELK日志系统通过系统crontab命令设置定期删除日志索引

向心行者

07-09

745

1、需求在前面部署的ELKB日志系统，在实际应用过程中，每天都会产生大量的日志信息，尤其是在开发环境，由于日志级别比较低，每天都会产生大量的日志。为了避免ELK系统过度消耗磁盘和内存，需要考虑定期删除Elasticsearch中的相关日志索引。这里通过Linux系统的crontab命令，并结合Elasticsearch的api实现定期删除日志的目的。 2、编写删除日志索引的脚本 1>、编辑deleteEsData.sh文件 #!/bin/bash #filename:deleteEsData.s

ELK自动化平台-数据过期自动清理

weixin_33691817的博客

12-22

938

一、数据过期自动清理脚本 1）创建脚本 [root@jump tmp]# cat /server/scripts/check_elk.sh [root@jump tmp]# chmod +x /server/scripts/check_elk.sh 2）脚本如下：（保留最近7天的日志） #!/bin/bash ############################################...

elk四、定时删除elk日志脚本——shell

jiangbenchu的博客

09-24

2817

ES数据定期删除如果不删除ES数据，将会导致ES存储的数据越来越多，磁盘满了之后将无法写入新的数据。这时可以使用脚本定时删除过期数据。方法一、 #/bin/bash #es-index-clear #只保留15天内的日志索引（删除15天前一天的日志） LAST_DATA=`date -d "-15 days" "+%Y.%m.%d"` #删除上个月份所有的索引 curl -XDELETE 'h...

ELK过期索引定时删除脚本

HelloKitty520123的专栏

08-08

649

脚本1： #/bin/bash LAST_DATE=`date -d "14 day ago" +"%Y.%m.%d"` echo ${LAST_DATE} curl -XDELETE 'http://192.168.7.117:9200/*_'${LAST_DATE}'' 脚本2： #!/bin/bash #################################...

ElasticSearch 定时删除指定天数的数据实践

Python编程参考官方媒体账号

03-15

1874

网上对于定时删除 ElasticSearch 索引数据有相当多的文章，有一些是借助 Curator 工具实现，有一些通过 ElasticSearch 的 delete_by_query 语句实现。事实上这几种都可以实现我们想要定期删除数据的效果，粗略翻看了一下（本王还没来得及细看），可以这么理解： delete_by_query 语句适合删除指定索引中的指定数据，例如删除索引 error_log 中距今超过 5 天的数据； Curator 工具适合删除指定的索引，例如删除索引 error_log_20.

【dolphinscheduler 日志】dolphinscheduler 日志定时清理，占用磁盘100%

赖德发的博客

10-14

1641

在使用过程中，随着任务的不断执行，会产生大量的日志文件，这些文件可能会占用大量的磁盘空间。默认内容是如下：默认日志保留168天，每个文件大小64M ，太大了，修改这两个参数，改成，1 ，10MB。：定义了要保留的日志文件的最大天数。是一个变量，表示日志文件的基础目录，它的值通常在配置文件的其他部分定义。：定义了日志的格式，包括日志级别、日期、日志记录器的名称、行号和日志消息。例如，要将每个日志文件的大小限制为 128MB，可以将其设置为。例如，要保留 30 天的日志，可以将其设置为 30。

ElasticSearch 数据老化清理之Curator

jiangzhuwanshi2008的博客

02-23

1252

前言随着接入ELK日志分析平台的系统增加，每日海量的日志数据使得磁盘空间越发紧张，从而ES的日志清理也成了一个常规操作。而ES官方也提供了一个很好用的工具——curator来实现这个事情...

ELK-定期清除数据

blues的博客

12-03

3169

#!/bin/bash # @Author: richard # @Date: 2017-08-11 17:27:49 # @Last Modified by: richard # @Last Modified time: 2017-08-11 18:04:58 #保留近 N 天 KEEP_DAYS=7 # 删除前 N的所有天到前N+10天==>每天执行 function get_todele...

ELK索引清理

weixin_38367535的博客

08-12

1157

主要针对Elasticsearch操作我这里的数据没必要留存很久，像java日志只是给开发实时查看的，nginx日志用来写周报图表用，也没必要留存很久。主要操作：查看所有索引（包含索引数据大小） curl 'localhost:9200/_cat/indices?v' 可以加grep过滤删除索引（也删除了对应的数据） curl -XDELETE http://localhost:9200/axt_examination_log-2021.07.30 #删除单条索引 curl -X

ELK之清理旧日志

u010554181的博客

07-26

699

ELK之清理旧日志

ELK定时删除30天前日志

weixin_34357928的博客

10-16

2966

http://127.0.0.1:9200/_cat/indices?v #!/bin/bash #删除ELK30天前的日志 DATE=`date -d "30 days ago" +%Y.%m.%d` curl -s -XGET http://127.0.0.1:9200/_cat/indices?v| grep $DATE | ...

elk笔记23--定期清理索引

脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到

11-07

1352

elk笔记23--定期清理索引介绍方案&代码方案介绍代码测试注意事项说明介绍在生产环境中，如果日志量过大，就会导致集群持续产生很多索引，占用很多存储空间。因此需要定期清理索引，确保磁盘处于一个比较低的水位。本文使用mysql 存储索引基础信息，基于mysql 中所以保存的时间，定期清理超过指定时间 rollover 生成的索引。方案&代码方案介绍每次新建索引的时候将索引基础信息存放到mysql中，具体包括索引名称、别名、存放时间和ilp信息。每次清理索引的时候从db中查看基础索引

ELK插入，增加，删除查询数据

彭淦淦的博客

05-23

886

4.1 问题本案例要求：使用curl命令连接使用ES数据库使用PUT方法增加数据使用POST修改数据使用GET查询数据使用DELETE删除数据 4.2 步骤实现此案例需要按照如下步骤进行。步骤一：增加数据 [root@es5 ~]# curl -X PUT “http://192.168.1.55:9200/tedu/teacher/1” -d ‘{ “职业”:“诗人”, “名字”:“李白”, “称号”:“诗仙”, “年代”:“唐” }’ {"_index":“tedu”,"_type":“

ELK学习笔记03-基本增删改查

doublewe的博客

08-07

585

1.新建一个索引打开左边的导航栏，选择Dev Tools 在kibana控制台中输入PUT命令，es的索引相当于关系型数据库中的库 PUT /moive_index 点击三角箭头执行，可以看到如下执行成功画面可以在浏览器输入es的路径http://192.168.92.129:9200/_cat/indices?v查看所有的索引，如下可以看到新建的moive_index索引已经创建成功 2.添加一条数据对上面新建的索引moive_index创建一个moive表并添加一条数据

清理Elasticsearch历史索引,物理删除

打卤的博客

02-12

2156

#/bin/bash #es-index-clear #只保留15天内的日志索引 LAST_DATA=`date -d &amp;quot;-15 days&amp;quot; &amp;quot;+%Y.%m.%d&amp;quot;` #删除上个月份所有的索引 curl -XDELETE 'http://ip:port/*-'${LAST_DATA}'*

ELK配置索引清理策略