【Elasticsearch】大慢查询隔离（二）：选择插件

原创已于 2025-12-13 22:56:24 修改 · 657 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #大数据 #搜索引擎 #全文检索 #性能 #插件 #查询

于 2025-12-13 22:48:41 首次发布

Elastic 专栏收录该内容

60 篇文章

订阅专栏

Elasticsearch 有很多专门用于 查询隔离、限流和保护 的插件。本文将分类介绍主要的相关插件。

🛡️ 1.官方和主流插件

1.1 Search Guard / Open Distro for Elasticsearch（现为 OpenSearch）

功能最全面的安全与限流插件，主要查询隔离功能：

1️⃣ 基于角色的查询限制
2️⃣ 查询级别速率限制
3️⃣ 文档级别安全
4️⃣ 字段级别安全

# 配置示例：
searchguard:
  dynamic:
    quotas:
      kibana_user:
        indices:
          "logs-*":
            search:
              allowed_total_byte_percentage: 10%  # 限制查询数据量百分比
              allowed_time_interval_ms: 10000     # 查询超时时间
              allowed_concurrency: 5              # 并发查询数限制

1.2 Elasticsearch ReadonlyREST

轻量级但功能强大的安全与限流插件。

# 配置示例 (readonlyrest.yml):
readonlyrest:
  access_control_rules:
  
  - name: "Analytics team - limited queries"
    groups: ["analytics"]
    indices: ["logs-*"]
    max_concurrent_requests: 10          # 并发请求限制
    max_request_queue_size: 100          # 队列大小限制
    search_throttling_ms: 5000           # 查询节流时间
    fields: ["timestamp", "message"]     # 允许查询的字段
    
  - name: "Admin team - unlimited"
    groups: ["admin"]
    indices: ["*"]
    verb: "*"

🔧 2.专用查询管理插件

2.1 Elasticsearch Query Guard

专注于查询保护的独立插件。主要特性：

1️⃣ 正则表达式模式匹配阻止危险查询
2️⃣ CPU 时间限制
3️⃣ 内存使用限制
4️⃣ 查询复杂度分析

// 配置示例：
{
  "query_guard": {
    "rules": [
      {
        "name": "prevent_wildcard_query",
        "pattern": "\"query_string\":\\s*{[^}]*\"query\":\\s*\"\\\\*\"",
        "action": "reject",
        "message": "Wildcard queries are not allowed"
      },
      {
        "name": "limit_aggregation_size",
        "metric": "aggregation_buckets",
        "threshold": 10000,
        "action": "modify",
        "modification": { "size": 1000 }
      }
    ]
  }
}

2.2 Elasticsearch Search Profiler（官方）

虽然不是隔离插件，但是诊断慢查询的关键工具。

GET /my-index/_profile
{
  "query": {
    "match": { "message": "error" }
  },
  "aggs": {
    "terms_agg": {
      "terms": { "field": "level.keyword" }
    }
  }
}
// 返回详细的查询执行时间分解，帮助识别瓶颈

🚀 3.商业与云平台插件

3.1 Elastic Stack 白金版功能

X-Pack 中的查询规则和限制功能。

PUT /_watcher/watch/slow_query_watch
{
  "trigger": { "schedule": { "interval": "5m" } },
  "input": {
    "search": {
      "request": {
        "indices": [".security-auditlog*"],
        "body": {
          "query": {
            "range": {
              "@timestamp": { "gte": "now-5m" }
            }
          },
          "aggs": {
            "slow_queries": {
              "terms": {
                "field": "event.action.keyword",
                "size": 10,
                "min_doc_count": 5
              }
            }
          }
        }
      }
    }
  },
  "condition": {
    "compare": { "ctx.payload.hits.total": { "gt": 100 } }
  }
}

3.2 Amazon Elasticsearch Service / OpenSearch

托管的查询隔离功能。

// AWS ES 的查询限制策略
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": { "AWS": "arn:aws:iam::123456789012:user/analyst" },
      "Action": "es:ESHttpGet",
      "Resource": "arn:aws:es:us-east-1:123456789012:domain/my-domain/*",
      "Condition": {
        "Bool": {
          "aws:SecureTransport": "true"
        }
      }
    },
    {
      "Effect": "Deny",
      "Principal": "*",
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:123456789012:domain/my-domain/*",
      "Condition": {
        "ForAnyValue:StringLike": {
          "es:Resource": "*/_search",
          "es:RequestBody": "*script*"  // 阻止脚本查询
        }
      }
    }
  ]
}

⚙️ 4.自定义开发插件示例

自定义查询拦截插件（Java）

// 示例：自定义查询拦截器插件
public class QueryThrottlePlugin extends Plugin implements SearchPlugin {
    
    @Override
    public List<SearchPhaseExecutionTransformer> getSearchPhaseExecutionTransformers() {
        return Collections.singletonList(new QueryThrottler());
    }
    
    private static class QueryThrottler implements SearchPhaseExecutionTransformer {
        @Override
        public SearchPhase apply(SearchPhase searchPhase, SearchContext context) {
            // 检查查询复杂度
            if (isComplexQuery(context)) {
                // 应用节流
                context.timeout(TimeValue.timeValueSeconds(30));
                // 限制返回结果
                context.size(Math.min(context.size(), 10000));
            }
            return searchPhase;
        }
        
        private boolean isComplexQuery(SearchContext context) {
            // 判断逻辑：聚合数量、脚本使用、查询子句数等
            return context.aggregations() != null && 
                   context.aggregations().count() > 5;
        }
    }
}

📊 5.监控与告警插件

5.1 Elasticsearch HQ / Cerebro

查询监控和管理界面。

# 实时监控查询队列
curl http://localhost:9200/_cluster/stats?human
# 查看正在运行的查询
curl http://localhost:9200/_tasks?actions=*search&detailed

5.2 Prometheus + Elasticsearch Exporter

通过指标监控实现查询隔离。

# Prometheus 告警规则示例
groups:
- name: elasticsearch_query_alerts
  rules:
  - alert: SlowQueryRateHigh
    expr: |
      rate(elasticsearch_query_total{phase="query"}[5m]) > 10
      and 
      rate(elasticsearch_query_time_seconds_sum[5m]) / 
      rate(elasticsearch_query_total[5m]) > 5
    for: 2m
    labels:
      severity: warning
    annotations:
      description: "高慢查询率检测到"
      
  - alert: QueryQueueFull
    expr: elasticsearch_thread_pool_queue{type="search"} > 1000
    for: 1m
    labels:
      severity: critical

🔐 6.实践中的插件选择建议

6.1 根据需求选择插件

需求场景	推荐插件	特点
企业级安全 + 限流	Search Guard / Open Distro	功能全面，社区活跃
轻量级保护	ReadonlyREST	配置简单，性能开销小
云环境	云提供商原生功能	集成度高，管理方便
深度定制	自定义插件开发	完全控制，按需实现
监控诊断	Elasticsearch 官方工具 + Prometheus	标准化，易于集成

6.2 安装示例 - ReadonlyREST

# 安装步骤
bin/elasticsearch-plugin install file:///path/to/readonlyrest-1.20.0_es7.10.0.zip

# 配置文件：config/readonlyrest.yml
readonlyrest:
  enable: true
  response_if_req_forbidden: "Forbidden by ReadonlyREST"
  
  access_control_rules:
    - name: "Limited API user"
      auth_key: api_user:password123
      indices: ["api-logs-*"]
      actions: ["indices:data/read/search"]
      max_concurrent_requests: 20
      search_throttling_ms: 10000

6.3 配置示例 - 多层隔离策略

# 多层级的查询隔离策略
layer1: 应用层控制
  - 查询超时设置
  - 结果集大小限制
  
layer2: 代理层控制 (如 Nginx)
  - 请求速率限制
  - 连接数限制
  
layer3: Elasticsearch 插件层
  - 基于角色的查询限制
  - 危险查询模式拦截
  
layer4: 操作系统层
  - cgroups 限制资源
  - ulimit 设置文件描述符