探索ThirdAI NeuralDB：高效向量存储的实现与优化-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/143041678

引言

在人工智能领域，对于大型数据集的高效处理和存储是一个关键挑战。ThirdAI 的 NeuralDB 提供了一种强大的解决方案，能够在普通 CPU 上运行并支持微调。本篇文章将介绍如何使用 NeuralDB 进行初始化、文档插入、相似度搜索和模型微调。

主要内容

初始化

NeuralDB 提供了两种初始化方法：从零开始和从检查点加载。在这两种情况下，thirdai_key 参数可以省略，只需设置环境变量 THIRDAI_KEY。API 密钥可以在 ThirdAI 官网获取。

安装依赖包：

pip install -qU langchain-community

引入适用模块：

from langchain_community.vectorstores import NeuralDBVectorStore

从零开始

vectorstore = NeuralDBVectorStore.from_scratch(thirdai_key="your-thirdai-key")

从检查点加载

vectorstore = NeuralDBVectorStore.from_checkpoint(
    checkpoint="/path/to/checkpoint.ndb",
    thirdai_key="your-thirdai-key",
)

插入文档

NeuralDB 支持多种格式的文档插入，并允许进行无监督的预训练。

vectorstore.insert(
    sources=["/path/to/doc.pdf", "/path/to/doc.docx", "/path/to/doc.csv"],
    train=True,
    fast_mode=True,
)

如果需要自定义解析，可以使用 NeuralDB 文档对象：

from thirdai import neural_db as ndb

vectorstore.insert(
    sources=[
        ndb.PDF(
            "/path/to/doc.pdf",
            version="v2",
            chunk_size=100,
            metadata={"published": 2022},
        ),
        ndb.Unstructured("/path/to/deck.pptx"),
    ]
)

相似度搜索

通过 similarity_search 方法进行查询。

documents = vectorstore.similarity_search("query", k=10)

微调

NeuralDB 支持通过关联和加权进行微调，以适应用户行为和特定领域知识。

vectorstore.associate(source="source phrase", target="target phrase")
vectorstore.upvote(query="how is a car manufactured", document_id=52)

代码示例

以下是一个完整的使用示例：

from langchain_community.vectorstores import NeuralDBVectorStore
from thirdai import neural_db as ndb

# 初始化向量存储
vectorstore = NeuralDBVectorStore.from_scratch(thirdai_key="your-thirdai-key")

# 插入文档
vectorstore.insert(
    sources=[
        ndb.PDF(
            "/path/to/doc.pdf",
            version="v2",
            chunk_size=100,
            metadata={"published": 2022},
        ),
    ],
    train=True,
    fast_mode=True,
)

# 查询相似文档
documents = vectorstore.similarity_search("example query", k=5)

# 微调模型
vectorstore.associate(source="hello world", target="greeting")
vectorstore.upvote(query="example query", document_id=1)