Elasticsearch 索引数据多了怎么办,如何调优,部署?
1 动态索引层面
基于模板+时间+rollover api滚动创建索引,举例:设计阶段定义:blog索引的模板格式为:blog_index_时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线2的32次幂-1,索引存储达到了TB+甚至更大。一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。
2 存储层面
冷热数据分离存储,热数据(比如最近3天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期force_merge加shrink压缩操作,节省存储空间和检索效率。
3 部署层面
一旦之前没有规划,这里就属于应急策略。结合ES自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等规划合理,不需要重启集群也能完成动态新增的。
本文探讨了Elasticsearch在数据量增长时的应对策略,包括使用动态索引模板和rollover API来避免单个索引过大,通过冷热数据分离优化存储,并介绍了解决存储压力的force_merge和shrink操作。此外,还提到了根据需求动态扩展集群的应急方案,强调了合理的主节点规划在扩展中的重要性。
8433

被折叠的 条评论
为什么被折叠?



