ElasticSearch技术整改总结

刚接手中间件团队遇到ElasticSearch比较棘手问题，主要以下方面：
1.某个集群按日创建数量惊人，三台16C32G500G的集群居然有25000多个分片。
2.按日、按月、按年索引不确定过期时间。
3.固定索引很多，无法整改。

• 问题一导致该集群频繁fullgc，没法提供正常稳定的服务，偶发性业务系统失败，不定时出现。
• 问题二因为之前设计时没有约定这些分片的有效期，导致集群上有大量的无效数据存在。
• 问题三是不推荐的使用方法。

技术改造思路如下：
1.数据特别重要，保留时间特别长的，同步一份给数据湖团队，中间件团队只保留相关短期数据。
2.非查询分析类数据要求整改为通过其它中间件存储，例如mongodb,hbase等。
3.固定索引强制要求改为按月或者按年存储。
4.需要按天创建的说明理由。
5.按天、按月、按年索引指明过期时间。

总体思想为ES偏向于检索和数据分析类，适用于OLAP（on-line Analytical Processing）场景，Mongo偏向于海量数据下的非结构化CRUD，适用于OLTP（on-line Transaction Processing）场景。