知识库“大海捞针”的克星！向量化检索，给你的问题装上“GPS”！

关注

原创最新推荐文章于 2026-05-21 16:50:22 发布 1k 阅读 AI 写同款· GEO 优化 ›

知识向量化：定义、评估标准、方式与全流程解析摘要：知识向量化是将非结构化知识转化为数值向量的过程，支持语义理解和跨模态检索。评估标准包括语义对齐性（如召回率提升30%）、维度合理性和领域适配性。主要方式有词嵌入、句子嵌入等，需根据场景选择模型。实施流程涵盖数据准备、向量化处理和存储优化，建议采用混合检索策略。典型案例显示，医疗知识库应用后召回率提升30%，企业文档检索效率显著提高。关键建议包括优选中文模型BGE-M3、混合检索配置及数据安全处理。阅读详情

在上一篇文章中，我们完成了文档的加载和分割，但这只是第一步。想象一下，你的知识库里有 10000 个文档片段，当用户问"如何优化数据库性能？"时，系统如何在海量信息中快速找到最相关的内容？这就是检索的价值——它是连接问题和答案的桥梁。检索质量的好坏，直接决定了 RAG 系统能否给出准确答案。

一、概念速览

在[《构建你的第一个知识库（下）》]中，介绍了 Embedding 的基本概念：将文本转换为高维向量，让计算机理解语义相似度。我们也学习了向量数据库的基础用法。

混合检索

本文重点介绍混合检索（Hybrid Search），它结合了两种检索方式的优势：

检索方式	原理	优势	劣势
向量检索	语义相似度计算	理解同义词、上下文	对精确关键词不敏感
关键词检索（BM25)	词频统计	精确匹配专业术语	无法理解语义
混合检索	两者加权融合	兼顾语义和精确性	配置稍复杂

示例：用户搜索"Python 爬虫 403 错误"，向量检索能找到"网页爬取被拒绝"的相关内容，关键词检索则精确定位"403 状态码"的技术文档。

二、实战

Chroma 向量数据库配置

Chroma 是轻量级向量数据库，非常适合快速原型开发：


from langchain_community.vectorstores import Chroma 
from langchain.text_splitter import RecursiveCharacterTextSplitter 
from langchain_community.document_loaders import TextLoader 
import os 
 
# 加载文档（延续上一篇的示例） 
loader = TextLoader("enterprise_docs.txt", encoding="utf-8") 
documents = loader.load() 
 
# 文本分割 
text_splitter = RecursiveCharacterTextSplitter( 
    chunk_size=500, 
    chunk_overlap=50, 
    length_function=len, 
) 
chunks = text_splitter.split_documents(documents) 
 
# 创建向量数据库 
persist_directory = "./chroma_db" 
vectorstore = Chroma.from_documents( 
    documents=chunks, 
    embedding=embeddings, 
    persist_directory=persist_directory, 
    collection_name="enterprise_kb" 
) 
 
print(f"✅ 已向量化 {len(chunks)} 个文档片段")

配置要点：

persist_directory：数据持久化目录，重启后数据不丢失
collection_name：集合名称，可创建多个知识库
Chroma 会自动处理向量索引，无需手动优化

基础向量检索

先看最简单的向量检索效果：


# 创建检索器 
retriever_vector = vectorstore.as_retriever( 
    search_type="similarity",  # 相似度检索 
    search_kwargs={"k": 3}     # 返回前 3 个结果 
) 
 
# 测试查询 
query = "如何提升数据库查询速度？" 
results = retriever_vector.get_relevant_documents(query) 
 
print(f"查询：{query}
") 
for i, doc in enumerate(results, 1): 
    print(f"结果{i}：{doc.page_content[:100]}...") 
    print(f"相关度评分：{doc.metadata.get('score', 'N/A')}
")

实现混合检索

混合检索结合向量检索和 BM25 关键词检索：


from langchain.retrievers import BM25Retriever, EnsembleRetriever 
 
# 准备文档内容（BM25 需要原始文本） 
doc_texts = [doc.page_content for doc in chunks] 
 
# 创建 BM25 检索器 
retriever_bm25 = BM25Retriever.from_texts( 
    doc_texts, 
    metadatas=[doc.metadata for doc in chunks] 
) 
retriever_bm25.k = 3  # 返回前 3 个结果 
 
# 创建混合检索器 
ensemble_retriever = EnsembleRetriever( 
    retrievers=[retriever_vector, retriever_bm25], 
    weights=[0.6, 0.4]  # 向量检索权重 0.6，BM25 权重 0.4 
) 
 
# 测试混合检索 
query = "PostgreSQL 索引优化" 
results_hybrid = ensemble_retriever.get_relevant_documents(query) 
 
print(f"混合检索结果：") 
for i, doc in enumerate(results_hybrid, 1): 
    print(f"{i}. {doc.page_content[:80]}...")

完整代码示例


from langchain_community.embeddings import HuggingFaceEmbeddings 
from langchain_community.vectorstores import Chroma 
from langchain.text_splitter import RecursiveCharacterTextSplitter 
from langchain.retrievers import BM25Retriever, EnsembleRetriever 
from langchain_community.document_loaders import DirectoryLoader, TextLoader 
import os 
class EnterpriseKnowledgeBase: 
    """企业知识库检索系统""" 
    def __init__(self, docs_path, persist_dir="./chroma_db"): 
        self.docs_path = docs_path 
        self.persist_dir = persist_dir 
        self.embeddings = None 
        self.vectorstore = None 
        self.chunks = None 
    def load_documents(self): 
        """加载文档""" 
        print("📂 正在加载文档。..") 
        loader = DirectoryLoader( 
            self.docs_path, 
            glob="**/*.txt", 
            loader_cls=TextLoader, 
            loader_kwargs={'encoding': 'utf-8'} 
        ) 
        documents = loader.load() 
        # 文本分割 
        text_splitter = RecursiveCharacterTextSplitter( 
            chunk_size=500, 
            chunk_overlap=50, 
            separators=["。", "！", "？", "；", " "] 
        ) 
        self.chunks = text_splitter.split_documents(documents) 
        print(f"✅ 已加载 {len(documents)} 个文档，分割为 {len(self.chunks)} 个片段") 
    def initialize_embeddings(self, model_name="all-MiniLM-L6-v2"): 
        """初始化 Embedding 模型""" 
        print(f"🔧 正在加载 Embedding 模型： {model_name}") 
        self.embeddings = HuggingFaceEmbeddings( 
            model_name=f"sentence-transformers/{model_name}", 
            model_kwargs={'device': 'cpu'}, 
            encode_kwargs={'normalize_embeddings': True} 
        ) 
        print("✅ Embedding 模型加载完成") 
    def create_vectorstore(self): 
        """创建向量数据库""" 
        print("💾 正在创建向量数据库。..") 
        self.vectorstore = Chroma.from_documents( 
            documents=self.chunks, 
            embedding=self.embeddings, 
            persist_directory=self.persist_dir, 
            collection_name="enterprise_kb" 
        ) 
        print("✅ 向量数据库创建完成") 
    def create_hybrid_retriever(self, vector_weight=0.6, bm25_weight=0.4, k=3): 
        """创建混合检索器""" 
        # 向量检索器 
        retriever_vector = self.vectorstore.as_retriever( 
            search_type="similarity", 
            search_kwargs={"k": k} 
        ) 
        # BM25 检索器 
        doc_texts = [doc.page_content for doc in self.chunks] 
        retriever_bm25 = BM25Retriever.from_texts( 
            doc_texts, 
            metadatas=[doc.metadata for doc in self.chunks] 
        ) 
        retriever_bm25.k = k 
        # 混合检索器 
        ensemble_retriever = EnsembleRetriever( 
            retrievers=[retriever_vector, retriever_bm25], 
            weights=[vector_weight, bm25_weight] 
        ) 
        print(f"✅ 混合检索器创建完成（向量：{vector_weight}, BM25:{bm25_weight}）") 
        return ensemble_retriever 
    def search(self, query, retriever, top_k=3): 
        """执行检索""" 
        results = retriever.get_relevant_documents(query) 
        return results[:top_k] 
    def compare_retrievers(self, query): 
        """对比不同检索器效果""" 
        # 向量检索 
        retriever_vector = self.vectorstore.as_retriever( 
            search_kwargs={"k": 3} 
        ) 
        results_vector = retriever_vector.get_relevant_documents(query) 
        # BM25 检索 
        doc_texts = [doc.page_content for doc in self.chunks] 
        retriever_bm25 = BM25Retriever.from_texts(doc_texts) 
        retriever_bm25.k = 3 
        results_bm25 = retriever_bm25.get_relevant_documents(query) 
        # 混合检索 
        retriever_hybrid = self.create_hybrid_retriever() 
        results_hybrid = retriever_hybrid.get_relevant_documents(query) 
        # 打印对比结果 
        print(f"{'='*60}") 
        print(f"查询：{query}") 
        print(f"{'='*60}") 
        print("📊 向量检索结果：") 
        for i, doc in enumerate(results_vector, 1): 
            print(f"  {i}. {doc.page_content[:60]}...") 
        print("📊 BM25 检索结果：") 
        for i, doc in enumerate(results_bm25, 1): 
            print(f"  {i}. {doc.page_content[:60]}...") 
        print("📊 混合检索结果：") 
        for i, doc in enumerate(results_hybrid, 1): 
            print(f"  {i}. {doc.page_content[:60]}...") 
# 使用示例 
if __name__ == "__main__": 
    # 初始化知识库 
    kb = EnterpriseKnowledgeBase(docs_path="./docs") 
    # 加载文档并创建向量库 
    kb.load_documents() 
    kb.initialize_embeddings() 
    kb.create_vectorstore() 
    # 创建混合检索器 
    hybrid_retriever = kb.create_hybrid_retriever( 
        vector_weight=0.6, 
        bm25_weight=0.4, 
        k=3 
    ) 
    # 测试查询 
    test_queries = [ 
        "如何优化数据库查询性能？", 
        "PostgreSQL B-tree 索引的原理", 
        "Python 内存泄漏如何排查" 
    ] 
    for query in test_queries: 
        print(f"🔍 查询：{query}") 
        results = kb.search(query, hybrid_retriever) 
        for i, doc in enumerate(results, 1): 
            print(f"结果{i}：") 
            print(f"  内容：{doc.page_content[:100]}...") 
            print(f"  来源：{doc.metadata.get('source', 'N/A')}") 
    # 对比不同检索器 
    kb.compare_retrievers("PostgreSQL 索引优化最佳实践")

三、总结

通过本文的实战演练，我们掌握了知识库检索的核心技术。

混合检索是王道：向量检索+BM25 的组合能覆盖更多场景，权重建议从 0.6:0.4 开始调优。

持续优化：建立测试查询集，定期评估检索准确率，根据业务场景调整策略。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述