日志存储优化与冷热分离实战

日志存储优化与冷热分离实战

随着业务增长，日志量快速膨胀，如何在保证查询性能的同时降低存储成本，是 ELK 平台优化的关键。 索引存储优化与冷热分离实践，帮助你在生产环境中实现高效日志存储。

---

一、日志存储面临的问题

1. 存储压力大

• 日志每天数百 GB，长期存储成本高。

2. 查询性能下降

• 大量索引会导致搜索延迟增加。

3. 冷热数据特点

• 热数据：近期 7 天，查询频繁，需高性能存储（SSD）。

• 冷数据：历史数据，查询少，可放在廉价存储（HDD）。

---

二、索引优化策略

1. 索引分片规划

• 合理设置分片数

  • 小规模日志：1–3 个分片

  • 大规模日志：每 TB 数据不超过 20 个分片

• 示例

PUT _template/log_template
{
  "index_patterns": ["log-*"],
  "settings": {
    "number_of_shards": 3,