Manticore Search中Plain表的Killlist机制解析

Manticore Search中Plain表的Killlist机制解析

manticoresearch manticoresoftware/manticoresearch: 这是一个用于快速搜索和索引数据的搜索引擎。适合用于需要快速搜索和索引数据的场景。特点：易于使用，支持多种数据格式，具有高性能和可扩展性。 项目地址: https://gitcode.com/gh_mirrors/ma/manticoresearch

什么是Killlist机制

在Manticore Search的plain表使用场景中，为了保证数据实时性，通常会采用主表+增量表（delta表）的架构模式。这种架构面临一个核心问题：当主表和增量表中存在相同文档ID时，搜索引擎会同时看到两个版本，无法自动判断应该使用哪个版本。Killlist机制就是为了解决这个问题而设计的文档抑制系统。

为什么需要Killlist

1. 数据更新问题：当文档在主表中存在，在增量表中被更新时，需要抑制主表中的旧版本
2. 数据删除问题：当文档需要被删除时，需要抑制主表中的对应文档
3. 版本冲突问题：防止同一文档的不同版本同时出现在搜索结果中

Killlist的实现方式

通过SQL源定义Killlist

对于使用数据库作为数据源的plain表，可以通过sql_query_killlist配置项定义获取待抑制文档ID的查询语句：

sql_query_killlist = \
    SELECT id FROM documents WHERE updated_ts>=@last_reindex UNION \
    SELECT id FROM documents_deleted WHERE deleted_ts>=@last_reindex

这个查询需要返回单列的文档ID列表，通常包含：

• 所有已更新的文档ID
• 所有已删除的文档ID

Killlist目标表配置

通过killlist_target参数指定哪些表应该应用当前表的Killlist：

table delta_table {
  killlist_target = main_table:kl
  path = /path/to/delta
  source = delta_source
}

Killlist工作模式详解

Manticore Search提供三种Killlist工作模式：

1. :kl模式 - 仅使用显式定义的Killlist

   killlist_target = main:kl
   

   只抑制主表中出现在Killlist里的文档

2. :id模式 - 使用增量表所有文档ID

   killlist_target = main:id
   

   抑制主表中所有存在于增量表的文档ID（忽略Killlist）

3. 默认模式 - 同时使用两种方式

   killlist_target = main
   

   既抑制增量表中的所有文档，也抑制Killlist中的文档

动态调整Killlist目标

Killlist目标表可以在不重建表的情况下通过ALTER命令修改：

ALTER TABLE delta_table KILLLIST_TARGET='new_main_table:kl'

但需要注意：已经被抑制的文档会永久性标记，即使取消Killlist关联也不会恢复。

最佳实践建议

1. 对于大型系统，建议使用:kl模式以精确控制抑制范围
2. 定期合并主表和增量表，避免Killlist过大影响性能
3. 在复杂系统中可以指定多个目标表：

   killlist_target = main_products:kl,main_categories:kl
   

4. 确保Killlist查询效率，避免成为性能瓶颈

通过合理使用Killlist机制，可以在保证数据实时性的同时，解决多表协同工作时的文档版本冲突问题，是Manticore Search中实现高效数据更新的重要技术手段。

manticoresearch manticoresoftware/manticoresearch: 这是一个用于快速搜索和索引数据的搜索引擎。适合用于需要快速搜索和索引数据的场景。特点：易于使用，支持多种数据格式，具有高性能和可扩展性。 项目地址: https://gitcode.com/gh_mirrors/ma/manticoresearch