Elasticsearch 调优场景

背景： ES 集群架构 13 个节点，索引根据通道不同共 20+索引，根据日期，每日递增 20+，索引：10 分片，每日递增 1 亿+数据，每个通道每天索引大小控制：150GB 之内。

仅索引层面调优手段：

1：设计阶段调优

• 根据业务增量需求，采取基于日期模板创建索引，通过 roll over API 滚动索引；
• 使用别名进行索引管理；
• 每天凌晨定时对索引做 force_merge 操作，以释放空间；
• 采取冷热分离机制，热数据存储到 SSD，提高检索效率；冷数据定期进行 shrink操作，以缩减存储；
• 采取 curator 进行索引的生命周期管理；
• 仅针对需要分词的字段，合理的设置分词器；
• Mapping 阶段充分结合各个字段的属性，是否需要检索、是否需要存储等。………

2：写入调优

• 写入前副本数设置为 0；
• 写入前关闭 refresh_interval 设置为-1，禁用刷新机制；
• 写入过程中：采取 bulk 批量写入；
• 写入后恢复副本数和刷新间隔；
• 尽量使用自动生成的 id。

3：查询调优

• 禁用 wildcard；
• 禁用批量 terms（成百上千的场景）；
• 充分利用倒排索引机制，能 keyword 类型尽量 keyword；
• 数据量大时候，可以先基于时间敲定索引再检索；
• 设置合理的路由机制。

4：其他调优

• 部署调优，业务调优等。