DiskVectorIndex 开源项目使用教程

DiskVectorIndex 开源项目使用教程

DiskVectorIndex 项目地址: https://gitcode.com/gh_mirrors/di/DiskVectorIndex

1. 项目介绍

DiskVectorIndex 是由 Cohere AI 开发的一个开源项目，旨在为内存受限的开发者提供一种在大数据集上进行高效语义搜索的方法。传统的向量数据库在大规模数据集索引时需要消耗大量内存，DiskVectorIndex 通过优化的数据结构和压缩技术，能够在仅使用 300MB 内存的情况下对超过 1 亿的文档进行索引，极大地降低了服务器成本，使得语义搜索成为内存受限开发者的可行选择。

2. 项目快速启动

环境准备

• 安装 Python（建议使用 Python 3.8 及以上版本）
• 获取 Cohere API key（访问 cohere.com 注册获取）

安装步骤

1. 克隆项目到本地

git clone https://github.com/cohere-ai/DiskVectorIndex.git
cd DiskVectorIndex

2. 设置 Cohere API key

export COHERE_API_KEY=你的_cohere_api_key

3. 安装 DiskVectorIndex 包

pip install .

使用示例

from DiskVectorIndex import DiskVectorIndex

# 创建索引实例
index = DiskVectorIndex("Cohere/trec-rag-2024-index")

# 搜索文档
while True:
    query = input("\n\nEnter a question: ")
    docs = index.search(query, top_k=3)
    for doc in docs:
        print(doc)
    print("=========")

3. 应用案例和最佳实践

以下是一个使用 DiskVectorIndex 和 Cohere Command R+ 模型构建端到端 RAG 管道的示例：

import cohere
from DiskVectorIndex import DiskVectorIndex
import os

# 初始化 Cohere 客户端
co = cohere.Client(api_key=os.environ['COHERE_API_KEY'])

# 创建索引实例
index = DiskVectorIndex("Cohere/trec-rag-2024-index")

# 提问
question = "哪些流行的深度学习框架是由 Facebook 和 Google 开发的？它们有什么不同？"

# 构建提示信息
prompt = f"请详细回答以下问题：{question}"

# 打印问题
print("Question:", question)

# 分解问题为子问题
res = co.chat(model="command-r-plus", message=prompt, search_queries_only=True)
sub_queries = [r.text for r in res.search_queries]
print("Generated sub queries:", sub_queries)

# 搜索相关文档
docs = []
doc_id = 1
for query in sub_queries:
    hits = index.search(query, top_k=3)
    for hit in hits:
        docs.append({
            "id": str(doc_id),
            'title': hit['doc']['title'],
            'snippet': hit['doc']['segment']
        })
    doc_id += 1
print(f"Documents found: {len(docs)}")

# 生成回答
print("Start generating response")
print("==============")
for event in co.chat_stream(model="command-r-plus", message=prompt, documents=docs, citation_quality="fast"):
    if event.event_type == "text-generation":
        # 打印文本块
        print(event.text, end="")
    elif event.event_type == "citation-generation":
        # 打印引用
        print(f"[{', '.join(event.citations[0].document_ids)}]", end="")

4. 典型生态项目

目前 DiskVectorIndex 的生态项目包括但不限于：

• Cohere Command R+ 模型：用于构建 RAG 管道的先进模型。
• faiss：用于向量相似度搜索的高效库。
• Product Quantization (PQ)：一种用于向量压缩的技术，使得向量索引更加高效。

通过这些典型生态项目的结合使用，可以构建出功能强大且资源消耗更低的应用程序。

DiskVectorIndex 项目地址: https://gitcode.com/gh_mirrors/di/DiskVectorIndex