Quickwit无模式索引指南：灵活处理结构化与半结构化数据-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01112/article/details/148416356

Quickwit无模式索引指南：灵活处理结构化与半结构化数据

quickwit Sub-second search & analytics engine on cloud storage 项目地址: https://gitcode.com/gh_mirrors/qu/quickwit

引言

在现代数据处理场景中，我们经常面临结构化数据和半结构化数据混合的情况。Quickwit作为一款高效的搜索索引引擎，提供了灵活的索引模式选择，让开发者能够根据实际需求在严格模式和无模式之间自由切换。本文将深入探讨Quickwit的三种索引模式：严格模式(strict)、宽松模式(lenient)和动态模式(dynamic)，帮助您根据业务场景选择最适合的索引策略。

索引模式概述

Quickwit提供了三种文档映射模式，每种模式对未定义字段的处理方式各不相同：

严格模式(strict)：只接受预定义字段，拒绝任何未在映射中声明的字段
宽松模式(lenient)：忽略未定义字段，仅处理已定义的字段
动态模式(dynamic)：自动索引和存储所有字段，包括未在映射中声明的字段

严格模式实践

严格模式适用于数据结构高度规范化的场景，如关系型数据库导出数据或严格定义的API日志。以下是一个典型的严格模式配置示例：

version: 0.7
index_id: strict_logs
doc_mapping:
  mode: strict
  field_mappings:
    - name: timestamp
      type: datetime
      input_formats: ["unix_timestamp"]
      output_format: unix_timestamp_secs
      fast_precision: seconds
      fast: true
    - name: severity
      type: text
      tokenizer: raw
    - name: message
      type: text
      record: position
  timestamp_field: timestamp

关键点：

任何包含未定义字段的文档都会被拒绝
适合数据质量要求高的场景
查询性能最优，因为所有字段类型和索引方式都预先确定

动态模式：无模式索引的强大功能

动态模式是处理半结构化数据的利器，特别适合以下场景：

用户行为日志（不同事件有不同属性）
开放式API响应
快速原型开发阶段

基本动态模式配置

最简单的动态模式配置甚至不需要定义任何字段：

version: 0.7
index_id: dynamic_logs
doc_mapping:
  mode: dynamic

这种配置可以接受任何JSON文档，并自动索引所有字段。

混合模式实践

更常见的是混合使用预定义字段和动态字段：

version: 0.7
index_id: user_events
doc_mapping:
  mode: dynamic
  field_mappings:
    - name: user_id
      type: text
      tokenizer: raw
      fast: true
    - name: event_time
      type: datetime
      fast: true
  timestamp_field: event_time

优势：

确保关键字段（如user_id）有明确的类型和索引策略
允许事件特有的属性动态添加
支持嵌套查询，如event_type:login AND login_method:oauth

JSON字段类型的特殊处理

对于包含自由格式键值对的字段（如OpenTelemetry日志中的Attributes），Quickwit提供了专门的JSON类型：

- name: Attributes
  type: json
  tokenizer: raw

这种配置允许您：

保持文档整体结构清晰
对特定字段实现无模式存储
支持嵌套查询，如Attributes.split_id:12345

性能与存储考量

严格模式：存储效率最高，查询性能最优
动态模式：灵活性最高，但会占用更多存储空间
JSON字段：平衡了结构化和无模式的需求，适合深度嵌套数据

建议：对高频查询的字段使用预定义映射，对不常查询或结构多变的字段使用动态模式或JSON类型。

实际应用示例

让我们看一个电商用户行为分析的完整示例：

创建索引配置：

version: 0.7
index_id: ecommerce_events
doc_mapping:
  mode: dynamic
  field_mappings:
    - name: timestamp
      type: datetime
      fast: true
    - name: user_id
      type: text
      tokenizer: raw
      fast: true
    - name: session_id
      type: text
      tokenizer: raw
    - name: event_type
      type: text
      tokenizer: raw
      fast: true
  timestamp_field: timestamp