elk 定时清理三天前数据

最新推荐文章于 2024-11-24 19:17:42 发布

原创最新推荐文章于 2024-11-24 19:17:42 发布 · 8.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#elk

elk 专栏收录该内容

30 篇文章

订阅专栏

本文介绍了一段Bash脚本，用于删除指定日期前的Filebeat Elasticsearch索引。通过curl命令配合Elasticsearch API实现自动化清理工作。

#!/bin/bash

shijian=`date +%Y.%m.%d -d "3 days ago"`
curl -XDELETE "192.168.0.231:9200/filebeat-${shijian}"

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

LifeSecret

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

ELK整合：ElasticSearch定期删除过期数据

xiatiandexiangrikui的博客

02-26

8290

ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析，并将日志输出到Elasticsearch中。 Elasticsearch：日志分布式...

es数据定时清理_一种基于ELK的数据自动清理方法与流程

weixin_39649660的博客

12-20

1563

本发明涉及涉及ELK、Shell、Kafka、Freemarker等技术领域，尤其涉及一种基于ELK的数据自动清理方法。背景技术：ElasticSearch是一个基于Lucene的全文搜索服务。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。ElasticSearch是用Java开发的，，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云...

参与评论您还未登录，请先登录后发表或查看评论

ELK日志系统通过系统crontab命令设置定期删除日志索引

向心行者

07-09

788

1、需求在前面部署的ELKB日志系统，在实际应用过程中，每天都会产生大量的日志信息，尤其是在开发环境，由于日志级别比较低，每天都会产生大量的日志。为了避免ELK系统过度消耗磁盘和内存，需要考虑定期删除Elasticsearch中的相关日志索引。这里通过Linux系统的crontab命令，并结合Elasticsearch的api实现定期删除日志的目的。 2、编写删除日志索引的脚本 1>、编辑deleteEsData.sh文件 #!/bin/bash #filename:deleteEsData.s

ELK自动化平台-数据过期自动清理

weixin_33691817的博客

12-22

951

一、数据过期自动清理脚本 1）创建脚本 [root@jump tmp]# cat /server/scripts/check_elk.sh [root@jump tmp]# chmod +x /server/scripts/check_elk.sh 2）脚本如下：（保留最近7天的日志） #!/bin/bash ############################################...

elk四、定时删除elk日志脚本——shell

记录点滴生活

09-24

2918

ES数据定期删除如果不删除ES数据，将会导致ES存储的数据越来越多，磁盘满了之后将无法写入新的数据。这时可以使用脚本定时删除过期数据。方法一、 #/bin/bash #es-index-clear #只保留15天内的日志索引（删除15天前一天的日志） LAST_DATA=`date -d "-15 days" "+%Y.%m.%d"` #删除上个月份所有的索引 curl -XDELETE 'h...

ELK过期索引定时删除脚本

HelloKitty520123的专栏

08-08

670

脚本1： #/bin/bash LAST_DATE=`date -d "14 day ago" +"%Y.%m.%d"` echo ${LAST_DATE} curl -XDELETE 'http://192.168.7.117:9200/*_'${LAST_DATE}'' 脚本2： #!/bin/bash #################################...

ElasticSearch 定时删除指定天数的数据实践

Python编程参考官方媒体账号

03-15

1915

网上对于定时删除 ElasticSearch 索引数据有相当多的文章，有一些是借助 Curator 工具实现，有一些通过 ElasticSearch 的 delete_by_query 语句实现。事实上这几种都可以实现我们想要定期删除数据的效果，粗略翻看了一下（本王还没来得及细看），可以这么理解： delete_by_query 语句适合删除指定索引中的指定数据，例如删除索引 error_log 中距今超过 5 天的数据； Curator 工具适合删除指定的索引，例如删除索引 error_log_20.

ElasticSearch 数据老化清理之Curator

jiangzhuwanshi2008的博客

02-23

1278

前言随着接入ELK日志分析平台的系统增加，每日海量的日志数据使得磁盘空间越发紧张，从而ES的日志清理也成了一个常规操作。而ES官方也提供了一个很好用的工具——curator来实现这个事情...

Go语言Elasticsearch数据清理工具

July_whj

10-08

1036

Go语言Elasticsearch数据清理工具微服务架构中收集通常大家都采用ELK进行日志收集，同时我们还采用了SkyWalking进行链路跟踪，而SkyWalking数据存储也用到了ES，SkyWalking每天产生大量的索引数据，如下： WX20211008-104751@2x 这里一天大概产生了700左右个索引数据。对历史的链路数据我们不做过多的保留。这里我整理了个小工具，可以定期清理es数据。一、清理思路可以看到索引数据都是以日期结尾，我们可以根据日期去匹配索引数据，并对

ELK-定期清除数据

blues的博客

12-03

3207

#!/bin/bash # @Author: richard # @Date: 2017-08-11 17:27:49 # @Last Modified by: richard # @Last Modified time: 2017-08-11 18:04:58 #保留近 N 天 KEEP_DAYS=7 # 删除前 N的所有天到前N+10天==>每天执行 function get_todele...

ELK索引清理

weixin_38367535的博客

08-12

1204

主要针对Elasticsearch操作我这里的数据没必要留存很久，像java日志只是给开发实时查看的，nginx日志用来写周报图表用，也没必要留存很久。主要操作：查看所有索引（包含索引数据大小） curl 'localhost:9200/_cat/indices?v' 可以加grep过滤删除索引（也删除了对应的数据） curl -XDELETE http://localhost:9200/axt_examination_log-2021.07.30 #删除单条索引 curl -X

ELK之清理旧日志

u010554181的博客

07-26

820

ELK之清理旧日志

ELK定时删除30天前日志

weixin_34357928的博客

10-16

2989

http://127.0.0.1:9200/_cat/indices?v #!/bin/bash #删除ELK30天前的日志 DATE=`date -d "30 days ago" +%Y.%m.%d` curl -s -XGET http://127.0.0.1:9200/_cat/indices?v| grep $DATE | ...

elk笔记23--定期清理索引

脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到

11-07

1376

elk笔记23--定期清理索引介绍方案&代码方案介绍代码测试注意事项说明介绍在生产环境中，如果日志量过大，就会导致集群持续产生很多索引，占用很多存储空间。因此需要定期清理索引，确保磁盘处于一个比较低的水位。本文使用mysql 存储索引基础信息，基于mysql 中所以保存的时间，定期清理超过指定时间 rollover 生成的索引。方案&代码方案介绍每次新建索引的时候将索引基础信息存放到mysql中，具体包括索引名称、别名、存放时间和ilp信息。每次清理索引的时候从db中查看基础索引

ELK插入，增加，删除查询数据

彭淦淦的博客

05-23

971

4.1 问题本案例要求：使用curl命令连接使用ES数据库使用PUT方法增加数据使用POST修改数据使用GET查询数据使用DELETE删除数据 4.2 步骤实现此案例需要按照如下步骤进行。步骤一：增加数据 [root@es5 ~]# curl -X PUT “http://192.168.1.55:9200/tedu/teacher/1” -d ‘{ “职业”:“诗人”, “名字”:“李白”, “称号”:“诗仙”, “年代”:“唐” }’ {"_index":“tedu”,"_type":“

ELK学习笔记03-基本增删改查

doublewe的博客

08-07

607

1.新建一个索引打开左边的导航栏，选择Dev Tools 在kibana控制台中输入PUT命令，es的索引相当于关系型数据库中的库 PUT /moive_index 点击三角箭头执行，可以看到如下执行成功画面可以在浏览器输入es的路径http://192.168.92.129:9200/_cat/indices?v查看所有的索引，如下可以看到新建的moive_index索引已经创建成功 2.添加一条数据对上面新建的索引moive_index创建一个moive表并添加一条数据

清理Elasticsearch历史索引,物理删除

打卤的博客

02-12

2191

#/bin/bash #es-index-clear #只保留15天内的日志索引 LAST_DATA=`date -d &amp;quot;-15 days&amp;quot; &amp;quot;+%Y.%m.%d&amp;quot;` #删除上个月份所有的索引 curl -XDELETE 'http://ip:port/*-'${LAST_DATA}'*

ELK ② 索引, 创建, 查看, 删除, 分词器安装及使用, 映射, 创建, 查看, 修改,文档,增删改查及局部更新

gaoshan12345678910的博客

02-24

1550

ELK ② 索引, 创建, 查看, 删除, 分词器安装及使用, 映射, 创建, 查看, 修改,文档,增删改查及局部更新

ELK配置索引清理策略