EleasticSearch 线上大索引按日期分割

最新推荐文章于 2024-04-09 16:22:02 发布

Norman_Hu

最新推荐文章于 2024-04-09 16:22:02 发布

阅读量9.1k

点赞数 9

CC 4.0 BY-SA版权

分类专栏：中间件文章标签： ElasticSearch 分布式

本文链接：https://blog.youkuaiyun.com/Norman_Hu/article/details/89917569

1. 背景

由于项目初期设计问题，采集到es的业务日志只使用了一个索引(index)，随着线上日志量的增长，es很快飙升到磁盘警戒线，网上找了一圈，很多文章版本都比较老旧，最终直接啃官方文档，没有copy别人博客，如果你中途不走神，本文总共15min。version 适用于es 6.0+

本文前提保障：

文档中有时间字段，方便按日期切割
index的mapping配置中，_source需为 true（默认），以保证es存入了源文档，而不仅仅是docId，便于执行reindex！

curl -XGET "localhost:9200/your_index_name/_mapping"
# 如果没有显示 _source, 代表"_source": false

2. 删文档（不建议）

这第一个想到的方法，将最老旧的日志删掉，如只保留近3个月的，采用 delete_by_query 接口

curl -X POST "localhost:9200/twitter/_delete_by_query" -H 'Content-Type: application/json' -d'
{
  "query": {
    "range" : {
        "day" : {
           "lt" : "2018-12-01"
        }
    }
  }
}
'

但是，es的delete，并不是真正的物理删，磁盘使用率(utilization)并不会下降。删除的文档仅仅被标记，es将文档存入一个个segment file中，其file数量随着文档的写入不断增加，es因此会有合并segment file的操作，将多个小的segment合并成一个大的segment file，当segment合并的时候，标记的文档才会真正的物理删除。

这种方案，只适合在 项目早期、文档量少、且机器负载不高 情况下进行，因为批量读写会导致cpu utilization的飙升，造成系统负载加重，可以在晚上业务量不高的时候进行