ndx: 轻量级全文索引与搜索库

ndx: 轻量级全文索引与搜索库

项目介绍

ndx 是一个专为特定应用场景设计的轻量级全文索引与搜索库。它适合于当所有文档存储在磁盘（如IndexedDB）上，并且可以动态地添加或移除至索引的情况。查询功能仅支持析取（disjunction）操作符，这意味着像“一个 两个”这样的查询将被理解为“一个”或“两个”。此库不存储术语位置，因此无法进行短语搜索，例如“超级马里奥”。ndx 提供了多个字段的全文索引和搜索能力，BM25排名函数来对匹配文档排序，以及基于字典树的动态倒排索引等特性。

项目快速启动

首先，确保你安装了Node.js环境。然后，通过npm或yarn添加ndx库到你的项目：

npm install ndx --save
# 或者
yarn add ndx

接下来，创建并初始化一个文档索引，以对“content”字段进行索引为例：

import { createIndex, indexAdd } from 'ndx';
import { indexQuery } from 'ndx/query';

// 定义文档结构和创建索引
const createDocumentIndex = () => {
    return [
        createIndex(
            1,
            (s) => s.split(' '), // 分词器，简单地将字符串按空格分割
            (term) => term.toLowerCase(), // 将词语转换为小写作为过滤处理
        ),
        (doc) => {
            indexAdd(
                index,
                [doc.content], // 只有一个字段“content”
                doc.id, // 假设每份文档都有唯一ID
            );
        },
        (id) => {
            indexRemove(index, id); // 删除文档逻辑，这里简化处理
        },
        (q) => {
            return indexQuery(index, [1], 1.2, 0.75, q);
        },
    ];
};

// 初始化索引
const index = createDocumentIndex();

// 示例文档
const docs = [
    { id: '1', content: '这是一个示例文档' },
    { id: '2', content: '示例文档展示功能' },
];

// 添加文档到索引
docs.forEach(doc => index[1](doc));

// 执行搜索
console.log(index[3]('示例文档')); // 输出搜索结果

应用案例和最佳实践

ndx特别适用于那些需要高效全文检索但又不想引入大型搜索引擎的应用场景，比如小型文档管理系统、内部知识库搜索或是基于web的应用内搜索。最佳实践中，应根据实际数据特性调整分词器和BM25参数，以优化搜索准确度和性能。对于多语言内容，考虑自定义或集成更复杂的分词解决方案是关键。

典型生态项目

虽然ndx本身作为一个独立库，其典型应用并不直接关联到特定的生态系统项目，但可以广泛应用于各类前端项目、Node.js后端服务或任何需要实现简洁、高效文本搜索的小到中型应用中。开发者可以根据需求将其集成到React、Vue、Angular等框架的应用中，或者用于构建基于TypeScript的服务端逻辑。

---

本教程提供了ndx库的基本使用方法，但请注意根据实际使用情况调整配置和实践。此外，由于ndx的设计特点，探索与其他文本处理库的结合使用，如Natural语言处理库，可能会扩展其功能范围，满足更复杂的需求。