如何在 Logstash 中与 Redis 集成做缓存？（详细教程 + 实战场景）

如何在 Logstash 中与 Redis 集成做缓存？（详细教程 + 实战场景）

Redis 是一个高性能的内存数据结构存储系统，常被用作 消息队列、缓存、会话存储。在 Logstash 中，Redis 主要用于：

• ✅ 作为 中间缓冲队列，实现数据暂存与解耦
• ✅ 作为 外部 lookup 缓存，加速字段丰富（enrichment）
• ✅ 实现 去重、限流、会话关联 等高级处理逻辑

本文将详细介绍 Logstash 与 Redis 的三种集成方式：作为输入/输出队列、作为 lookup 缓存，并提供完整配置示例和最佳实践。

---

一、Redis 在 Logstash 中的三大用途

用途	场景	插件
1. 消息队列（Queue）	Beats → Redis → Logstash → ES	redis input/output
2. 字段丰富（Lookup）	用 IP 查归属地、用户ID查姓名	自定义 filter + Redis
3. 状态存储	记录会话、去重、计数	自定义 filter + Redis

---

二、方案一：使用 Redis 作为消息队列（推荐用于高可用）

2.1 架构图

[Filebeat] → [Redis List/Channel] → [Logstash Input] → [Filter] → [Elasticsearch]

Redis 充当 持久化缓冲区，防止 Logstash 或 ES 故障时数据丢失。

---

2.2 配置示例

① Filebeat 输出到 Redis

# filebeat.yml
output.redis:
  hosts: ["192.168.1.100:6379"]
  port: 6379
  key: "logstash-queue"               # 使用 list
  datatype: "list"                    # 可选：list, channel (pubsub)
  timeout: 5
  username: "default"                 # Redis 6+ 支持
  password: "your_redis_password"

✅ 推荐使用 list 类型，支持持久化和多消费者。

---

② Logstash 从 Redis 读取

# logstash.conf
input {
  redis {
    host => "192.168.1.100"
    port => 6379
    data_type => "list"
    key => "logstash-queue"
    db => 0
    password => "your_redis_password"
    codec => "json"                   # 假设 Beats 发送的是 JSON
    batch_count => 50                 # 每次拉取数量
    connection_timeout => 5
    reconnect_interval => 1
  }
}

filter {
  # 正常处理逻辑
  grok { match => { "message" => "%{COMBINEDAPACHELOG}" } }
}

output {
  elasticsearch {
    hosts => ["http://es-node:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

---

2.3 Redis 高可用配置（哨兵模式）

input {
  redis {
    sentinel_hosts => ["sentinel1:26379", "sentinel2:26379"]
    master_name => "mymaster"
    key => "logstash-queue"
    data_type => "list"
    password => "redispass"
  }
}

适用于生产环境，支持自动故障转移。

---

2.4 优点与缺点

优点	缺点
部署简单，资源消耗低	不如 Kafka 适合大数据量
支持持久化（AOF/RDB）	多消费者竞争消费（需配合 list + brpop）
低延迟	无内置分区机制

🟡 适用于中小规模日志系统，或作为轻量级缓冲。

---

三、方案二：使用 Redis 作为 Lookup 缓存（字段丰富）

3.1 场景示例

• 将 user_id 转换为 user_name
• 将 ip 转换为 region（比 GeoIP 更灵活）
• 补充设备型号、用户等级等业务信息

---

3.2 实现方式

Logstash 官方无直接 redis lookup 插件，需通过 自定义 filter 插件 或 脚本 实现。

方法 1：使用 ruby filter（简单场景）

filter {
  ruby {
    code => "
      require 'redis'

      # 连接 Redis（建议使用连接池）
      redis = Redis.new(host: '192.168.1.100', port: 6379, db: 1, password: 'pass')

      user_id = event.get('user_id')
      if user_id
        user_name = redis.get(\"user:#{user_id}:name\")
        if user_name
          event.set('user_name', user_name)
        end
      end
    "
  }
}

⚠️ 注意：每次事件都新建连接，性能差，仅用于测试。

---

方法 2：编写自定义 Filter 插件（推荐生产使用）

创建 logstash-filter-redis_lookup 插件：

# lib/logstash/filters/redis_lookup.rb
require "logstash/filters/base"
require "logstash/namespace"
require "redis"

class LogStash::Filters::RedisLookup < LogStash::Filters::Base
  config_name "redis_lookup"

  config :host, :validate => :string, :default => "127.0.0.1"
  config :port, :validate => :number, :default => 6379
  config :db, :validate => :number, :default => 1
  config :password, :validate => :password
  config :source, :validate => :string, :required => true
  config :target, :validate => :string, :required => true
  config :namespace, :validate => :string, :default => ""

  def register
    @redis = Redis.new(
      host: @host,
      port: @port,
      db: @db,
      password: @password.value
    )
    @logger.info("Connected to Redis", :host => @host, :db => @db)
  end

  def filter(event)
    key = "#{@namespace}#{event.get(@source)}"
    value = @redis.get(key)

    if value
      event.set(@target, value)
      filter_matched(event)
    else
      @logger.debug("Redis key not found", :key => key)
    end
  end
end

使用方式：

filter {
  redis_lookup {
    host => "192.168.1.100"
    port => 6379
    db => 1
    password => "your_password"
    source => "user_id"
    target => "user_name"
    namespace => "user:"
  }
}

✅ 支持连接复用、日志记录、错误处理。

---

3.3 缓存预热建议

• 使用定时任务将数据库数据写入 Redis：

  # 示例：MySQL → Redis
  mysql -e "SELECT id,name FROM users" | awk '{print "SET user:"$1":name "$2}' | redis-cli --pipe
  

• 设置合理的 TTL（如 1 小时）
• 监控缓存命中率

---

四、方案三：Redis 作为状态存储（高级用法）

4.1 场景：会话关联（Session Stitching）

将同一用户的多个日志事件关联为会话。

ruby {
  code => "
    redis = Redis.new(host: 'redis-host')
    session_key = 'session:' + event.get('user_id')
    
    # 记录首次访问时间
    unless redis.exists(session_key)
      redis.setex(session_key, 3600, event.get('@timestamp'))
    end
  "
}

---

4.2 场景：去重（Deduplication）

防止重复日志处理。

ruby {
  code => "
    redis = Redis.new(host: 'redis-host')
    event_id = event.get('event_id')
    if redis.setnx('dedup:' + event_id, 1)
      redis.expire('dedup:' + event_id, 300)  # 5分钟
    else
      event.tag('_duplicate')
    end
  "
}

---

五、性能优化建议

优化项	建议
连接管理	使用连接池（如 connection_pool gem）
序列化	使用 msgpack 或 json，避免 Ruby 原生序列化
Redis 配置	启用 AOF 持久化，设置 maxmemory 和淘汰策略
网络	Redis 与 Logstash 部署在同一内网，低延迟
监控	监控 Redis 内存、QPS、延迟

---

六、安全配置

# 启用密码认证
password => "strong_password"

# 使用 TLS（Redis 6+）
ssl => true
ssl_certificate_authorities => ["/path/to/ca.crt"]

确保 Redis 不暴露在公网。

---

七、监控与告警

监控指标：

指标	工具
Redis 内存使用	INFO memory
队列长度	LLEN logstash-queue
Logstash 处理速率	Kibana → Monitoring → Logstash

告警规则示例：

• Redis 内存 > 80%
• 队列长度 > 10000
• Logstash 事件处理延迟 > 1min

---

八、总结：选择合适的集成方式

需求	推荐方案
高可用缓冲队列	Redis list + brpop + 持久化
字段丰富（lookup）	自定义 filter + Redis
轻量级部署	Redis 替代 Kafka（小流量）
超大规模	改用 Kafka

---

九、参考资源

• Logstash Redis 插件文档：
  👉 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-redis.html

• Redis 官方文档：
  👉 https://redis.io

• 自定义插件开发教程：
  👉 如何编写自定义 Logstash 插件？

---

结语

Redis 与 Logstash 的集成，能显著提升日志系统的 可靠性、灵活性和处理能力。无论是作为 缓冲队列 还是 实时 lookup 缓存，都是生产环境中非常实用的技术组合。

🔑 核心建议：

• 小规模系统：用 Redis 做队列
• 大规模系统：优先 Kafka
• 任何 lookup 场景：自定义 filter + Redis 缓存