ElasticSearch | 集群容量规划

容量规划

• 一个集群总共需要多少节点？一个索引需要设置几个分片？
• 规划上保留一定的余量，当负载出现波动，节点出现丢失时，还能正常运行；

做容量规划一定要考虑的因素

• 机器的软硬件配置；
• 单条文档的尺寸 / 文档的总数量 / 索引的总数量（Time Base 数据保留的时间）/ 副本分片数；
• 文档是如何写入的（Bulk 的尺寸）；
• 文档的复杂度，文档是如何进行读取的（怎样的查询和聚合）；

评估业务的性能需求

数据吞吐 & 性能需求

• 数据写入的吞吐量，每秒要求写入多少数据；
• 查询的吞吐量；
• 单条查询可接收的最大返回时间；

了解你的数据

• 数据的格式和数据的 Mapping；
• 实际的查询和聚合长的什么样子；

ElasticSearch 的常见应用类型

搜索应用 | 固定大小的数据集

• 搜索的数据集增长相对比较缓慢；

日志应用 | 基于时间序列的数据

• 使用 ElasticSearch 存放日志和性能指标，数据每天不断写入，增长速度较快；
• 结合 Warm Node 做数据的老化处理；

硬件配置

• 选择合理的硬件，数据节点尽量使用 SSD；
• 搜索等性能要求高的场景，建议使用 SSD ，按照 1:10 的比例，配置内存和磁盘；
• 日志类和查询并发低的场景，可以考虑使用机械硬盘存储，按照 1:50 的比例分配内存和磁盘；
• 单节点数据建议控制在 2TB 以内，最大不建议超过 5TB ;<