OpenSearch/Ingest Pipeline + k-NN 在 ABP 的“双索引”落地

OpenSearch/Ingest Pipeline + k-NN 在 ABP 的“双索引”落地 🧭

---

---

0) 摘要（TL;DR）🧾

• 写入侧（ingest）：用 text_embedding 处理器在索引前生成向量并写入 knn_vector；通过 index.default_pipeline 持久启用。

• 检索侧（search）：用 Hybrid Query 将 BM25 与向量相似度合并；在 Search Pipeline 使用

  • normalization-processor（2.10+）进行 L2/MinMax/Z-Score 归一化 + 算术/几何/调和加权；或
  • score-ranker-processor（2.19+）进行 RRF 融合；
    需要调试时打开 hybrid_score_explanation（2.19+）。

• 多租户：tenantId 贯穿命名/路由/过滤；共享索引叠加 DLS/FLS。

• 参数建议：size 建议先取 100–200；Lucene HNSW 忽略 ef_search（由查询 k 代入），重点调 m 与 ef_construction。

---

1) 架构总览 🗺️

---

2) 目标与差异化 🎯

• 目标：在 ABP vNext 内落地“文档索引 + 日志索引”双轨方案，端到端可复现、可评测、可扩展。
• 差异化：完全采用 OpenSearch 原生（knn_vector、Ingest/Search Pipeline、Hybrid/RRF），避免“ES + 外置向量库 + 网关融合”的一致性/可用性隐患。
• 多租户：以 ICurrentTenant 注入租户上下文到索引命名或查询过滤，结合 OpenSearch 安全（DLS/FLS）实现细粒度隔离。

---

3) 版本矩阵与降级策略 🧱

能力	最低版本	说明
Normalization Processor	2.10	归一化与加权（L2/MinMax/Z-Score + 三均值）
Hybrid Query（官方文档流程）	2.11	match + neural/knn 混排
RRF（score-ranker-processor）	2.19	分数不可比场景更稳健
hybrid 顶层 filter（Common Filter）	3.0	统一过滤，无需在各子句重复
k-NN gRPC（GA）	3.2	高并发向量检索可选

降级策略：

• 2.x 无 Common Filter → 用外层 bool/filter 或在子句重复过滤；
• 无 RRF → 用 Normalization；
• 低版本不支持某处理器 → 临时指定 ?search_pipeline=_none 做退避。

---

4) 索引模板与映射 🧩

模型以 all-MiniLM-L6-v2（384 维、cosine）为例；换模型请同步调整 dimension/space_type。

4.1 文档索引（Lucene HNSW + 余弦）

PUT _index_template/docs-template
{
   
   
  "index_patterns": ["*-docs-*"],
  "template": {
   
   
    "settings": {
   
   
      "index.knn": true,
      "index.default_pipeline": "docs-embed-v1",
      "index.search.default_pipeline": "hybrid-norm-v1",
      "refresh_interval": "1s"
    },
    "mappings": {
   
   
      "properties": {
   
   
        "tenantId": {
   
    "type": "keyword" },
        "title":    {
   
    "type": "text" },
        "content":  {
   
    "type": "text" },
        "embedding": {
   
   
          "type": "knn_vector",
          "dimension": 384,
          "method": {
   
   
            "name": "hnsw",
            "engine": "lucene",
            "space_type": "cosinesimil",
            "parameters": {
   
    "m": 32, "ef_construction": 128 }
          }
          /* 可选降本： "data_type": "byte" 仅 Lucene 支持 */
        }
      }
    }
  }
}

4.2 日志索引（吞吐优先）

PUT _index_template/logs-template
{
   
   
  "index_patterns": ["*-logs-*"],
  "template": {
   
   
    "settings": {
   
   
      "index.knn": true,
      "index.default_pipeline": "logs-enrich-v1",
      "refresh_interval": "30s"   /* 高吞吐写入可调大 */
    },
    "mappings": {
   
   
      "properties": {
   
   
        "tenantId": {
   
    "type": "keyword" },
        "level":    {
   
    "type": "keyword" },
        "ts":       {
   
    "type":