SearXNG缓存层：SQLite和Redis缓存的技术选型

SearXNG缓存层：SQLite和Redis缓存的技术选型

【免费下载链接】searxng SearXNG 是一个免费的互联网元搜索引擎，它聚合了来自不同搜索服务和数据库的结果。用户不会被追踪或建立档案。 项目地址: https://gitcode.com/GitHub_Trending/se/searxng

引言：为什么需要缓存层？

在元搜索引擎SearXNG中，缓存层扮演着至关重要的角色。当用户发起搜索请求时，SearXNG需要同时向多个搜索引擎发送请求并聚合结果。这个过程涉及大量的网络IO操作，如果没有有效的缓存机制，会导致：

• 响应延迟增加：每次搜索都需要重新获取所有结果
• API调用限制：频繁请求可能触发搜索引擎的速率限制
• 资源浪费：重复处理相同的查询请求

SearXNG提供了两种主要的缓存解决方案：基于SQLite的轻量级缓存和基于Valkey（Redis兼容）的高性能缓存。本文将深入分析这两种技术的实现细节、适用场景和性能特点。

SQLite缓存：轻量级单机解决方案

核心架构设计

SearXNG的SQLite缓存实现位于searx/cache.py中的ExpireCacheSQLite类，它提供了完整的键值对缓存功能，支持过期时间和自动维护。

关键技术特性

1. 自动表管理

def create_table(self, table: str) -> bool:
    """按需创建缓存表，支持多上下文隔离"""
    if table in self.table_names:
        return False
        
    sql_table = f"""
    CREATE TABLE IF NOT EXISTS {table} (
      key    TEXT,
      value  BLOB,
      expire INTEGER DEFAULT (strftime('%s', 'now') + {self.cfg.MAXHOLD_TIME}),
      PRIMARY KEY (key)
    )
    """
    # 创建索引优化查询性能
    sql_index = f"CREATE INDEX IF NOT EXISTS index_expire_{table} ON {table}(expire);"

2. 智能维护机制

def maintenance(self, force: bool = False, truncate: bool = False) -> bool:
    """自动清理过期数据，支持强制清理和完全清空"""
    if not force and int(time.time()) < self.next_maintenance_time:
        return False
        
    # 删除过期条目
    expire = int(time.time())
    for table in self.table_names:
        res = conn.execute(f"DELETE FROM {table} WHERE expire < ?", (expire,))
        
    # WAL检查点优化
    conn.execute("PRAGMA wal_checkpoint(TRUNCATE)")

3. 数据序列化安全

def serialize(self, value: typing.Any) -> bytes:
    """使用pickle进行对象序列化，支持复杂数据结构"""
    dump: bytes = pickle.dumps(value)
    return dump

def secret_hash(self, name: str | bytes) -> str:
    """HMAC加密保护敏感数据"""
    m = hmac.new(name + self.cfg.password, digestmod='sha256')
    return m.hexdigest()

配置参数详解

参数	默认值	说明
MAX_VALUE_LEN	10KB	单个缓存值的最大长度
MAXHOLD_TIME	7天	缓存条目的默认存活时间
MAINTENANCE_PERIOD	1小时	自动维护执行间隔
MAINTENANCE_MODE	auto	维护模式（auto/off）

Valkey（Redis）缓存：分布式高性能方案

架构概述

SearXNG通过searx/valkeydb.py和searx/valkeylib.py提供了完整的Valkey（Redis兼容）支持，适用于高并发和分布式部署场景。

高级功能实现

1. Lua脚本优化

SearXNG使用预编译的Lua脚本来实现原子操作，避免网络往返开销：

PURGE_BY_PREFIX = """
local prefix = tostring(ARGV[1])
for i, name in ipairs(redis.call('KEYS', prefix .. '*')) do
    redis.call('EXPIRE', name, 0)
end
"""

def purge_by_prefix(client, prefix: str = "SearXNG_"):
    """批量删除指定前缀的键（使用EXPIRE避免阻塞）"""
    script = lua_script_storage(client, PURGE_BY_PREFIX)
    script(args=[prefix])

2. 滑动窗口计数器

INCR_SLIDING_WINDOW = """
local expire = tonumber(ARGV[1])
local name = KEYS[1]
local current_time = redis.call('TIME')

redis.call('ZREMRANGEBYSCORE', name, 0, current_time[1] - expire)
redis.call('ZADD', name, current_time[1], current_time[1] .. current_time[2])
local result = redis.call('ZCOUNT', name, 0, current_time[1] + 1)
redis.call('EXPIRE', name, expire)
return result
"""

def incr_sliding_window(client, name: str, duration: int):
    """基于有序集合实现的滑动窗口计数器"""
    script = lua_script_storage(client, INCR_SLIDING_WINDOW)
    name = "SearXNG_counter_" + secret_hash(name)
    return script(args=[duration], keys=[name])

3. 安全哈希机制

def secret_hash(name: str):
    """使用HMAC和服务器密钥生成安全哈希"""
    m = hmac.new(bytes(name, encoding='utf-8'), digestmod='sha256')
    m.update(bytes(get_setting('server.secret_key'), encoding='utf-8'))
    return m.hexdigest()

技术选型对比分析

性能特征对比

特性	SQLite缓存	Valkey缓存
部署复杂度	⭐⭐（简单）	⭐⭐⭐⭐（需要额外服务）
读写性能	⭐⭐⭐（良好）	⭐⭐⭐⭐⭐（优秀）
并发支持	⭐⭐（文件锁限制）	⭐⭐⭐⭐⭐（原生并发）
内存使用	⭐⭐⭐⭐（磁盘为主）	⭐⭐（全内存）
数据持久化	⭐⭐⭐⭐⭐（内置）	⭐⭐⭐（需配置）
分布式支持	❌（单机）	⭐⭐⭐⭐⭐（集群）

适用场景推荐

SQLite缓存适用场景

• 开发测试环境：无需额外依赖，开箱即用
• 低流量个人实例：访问量较小的部署场景
• 资源受限环境：内存和CPU资源有限的情况
• 简单缓存需求：不需要复杂数据结构和高级功能

Valkey缓存适用场景

• 生产高并发环境：需要处理大量并发请求
• 多实例部署：需要缓存共享的集群环境
• 高级数据结构：需要使用集合、有序集合等复杂结构
• 实时统计需求：需要滑动窗口计数器等实时功能

配置示例

SQLite缓存配置

# settings.yml 默认配置
valkey:
  url: false  # 禁用Valkey，使用SQLite缓存

# 自动使用临时目录的SQLite数据库
# 默认路径：/tmp/sxng_cache_{name}.db

Valkey缓存配置

# settings.yml Valkey配置
valkey:
  url: "valkey://localhost:6379/0"

# 环境变量方式
export SEARXNG_VALKEY_URL="valkey://:password@localhost:6379/0"

最佳实践和性能优化

SQLite缓存优化建议

1. WAL模式优化：

# 在维护时执行WAL检查点
conn.execute("PRAGMA wal_checkpoint(TRUNCATE)")

2. 合理的维护间隔：

MAINTENANCE_PERIOD: int = 60 * 60  # 1小时
MAXHOLD_TIME: int = 60 * 60 * 24 * 7  # 7天

3. 内存映射优化（可选）：

PRAGMA mmap_size = 30000000000;  # 30GB内存映射

Valkey缓存优化建议

1. 连接池配置：

# 使用连接池避免频繁创建连接
_CLIENT = valkey.Valkey.from_url(valkey_url, max_connections=100)

2. Pipeline批量操作：

# 使用pipeline减少网络往返
pipe = client.pipeline()
pipe.set('key1', 'value1')
pipe.set('key2', 'value2')
pipe.execute()

3. 内存优化策略：

# Valkey配置优化
maxmemory 1gb
maxmemory-policy allkeys-lru

监控和故障排查

缓存状态监控

SearXNG提供了详细的缓存状态查询功能：

def state(self) -> ExpireCacheStats:
    """获取缓存统计信息"""
    cached_items: dict[str, list[tuple[str, typing.Any, int]]] = {}
    for table in self.table_names:
        cached_items[table] = []
        for row in self.DB.execute(f"SELECT key, value, expire FROM {table}"):
            cached_items[table].append((row[0], self.deserialize(row[1]), row[2]))
    return ExpireCacheStats(cached_items=cached_items)

常见问题排查

1. 缓存命中率低：

   • 检查MAXHOLD_TIME设置是否过短
   • 验证缓存键的生成逻辑

2. 内存使用过高：

   • 调整MAX_VALUE_LEN限制大值缓存
   • 优化维护间隔和清理策略

3. 性能瓶颈：

   • SQLite：检查磁盘IO和文件锁竞争
   • Valkey：监控网络延迟和连接数

结论

SearXNG的缓存层设计体现了灵活性和实用性的平衡。SQLite缓存提供了零依赖的轻量级解决方案，适合大多数个人和小规模部署场景。而Valkey缓存则为高并发、分布式环境提供了企业级的性能保障。

技术选型建议：

• 对于个人使用和小型项目，优先选择SQLite缓存，简单可靠
• 对于生产环境和团队使用，推荐使用Valkey缓存，性能更优
• 在资源受限环境中，SQLite是更经济的选择
• 需要高级缓存功能时，Valkey提供更丰富的特性

无论选择哪种方案，SearXNG都提供了统一的API接口，使得在不同缓存后端之间切换变得简单无缝。这种设计哲学体现了SearXNG项目对开发者友好性和部署灵活性的重视。

【免费下载链接】searxng SearXNG 是一个免费的互联网元搜索引擎，它聚合了来自不同搜索服务和数据库的结果。用户不会被追踪或建立档案。 项目地址: https://gitcode.com/GitHub_Trending/se/searxng