图解 LangChain 知识库导入导出，连续奋战只为你简化数据迁移

原创于 2025-04-28 17:49:43 发布 · 1.2k 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #人工智能 #AI大模型 #大模型训练 #知识库 #AI #LLM

LangChain 就像是一个智能搬运工，可以帮你轻松搬运和转换各种知识库数据。

基本功能

1. 导入数据

# 从文件导入数据到知识库
from langchain.document_loaders import TextLoader, PDFLoader
# 加载文本文件
text_loader = TextLoader("我的笔记.txt")
text_docs = text_loader.load()
# 加载PDF文件
pdf_loader = PDFLoader("重要资料.pdf")
pdf_docs = pdf_loader.load()
# 打印文档数量
print(f"加载了 {len(text_docs) + len(pdf_docs)} 个文档")

2. 转换处理

# 文档切分处理
from langchain.text_splitter import RecursiveCharacterTextSplitter
# 创建文本分割器
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,  # 每块大约1000字符
    chunk_overlap=100,  # 重叠100字符避免割裂内容
    separators=["\n\n", "\n", "。", "！", "?", " ", ""]  # 优先按段落分割
)
# 应用分割器
分割后文档 = text_splitter.split_documents(text_docs + pdf_docs)
print(f"分割后共有 {len(分割后文档)} 个块")

在这里插入图片描述

实用功能

1. 向量存储导入

# 将文档转成向量存储
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
# 创建词嵌入模型
embeddings = OpenAIEmbeddings()
# 创建向量数据库
try:
    vectordb = Chroma.from_documents(
        documents=分割后文档,
        embedding=embeddings,
        persist_directory="./我的知识库"  # 持久化存储位置
    )
    # 保存到磁盘
    vectordb.persist()
    print("知识库创建成功！")
except Exception as e:
    print(f"创建失败: {e}")

2. 知识库迁移

# 知识库格式转换与迁移
from langchain.vectorstores import FAISS, Pinecone
import pinecone
# 从Chroma导出到FAISS
def 知识库迁移(源路径, 目标路径):
    # 加载原始知识库
    源库 = Chroma(
        persist_directory=源路径,
        embedding_function=OpenAIEmbeddings()
    )
    # 获取所有文档和向量
    ids = 源库.get()["ids"]
    文档集 = 源库.get(ids)["documents"]
    # 创建FAISS知识库并保存
    新库 = FAISS.from_texts(
        texts=文档集,
        embedding=OpenAIEmbeddings()
    )
    新库.save_local(目标路径)
    return 新库

3. 远程存储同步

# 同步到Pinecone远程向量库
def 远程同步(本地库路径, pinecone_api, 索引名):
    # 初始化Pinecone
    pinecone.init(
        api_key=pinecone_api,
        environment="us-west1-gcp"
    )
    # 如果索引不存在则创建
    if 索引名 not in pinecone.list_indexes():
        pinecone.create_index(
            name=索引名,
            dimension=1536,  # OpenAI嵌入维度
            metric="cosine"
        )
    # 加载本地库
    本地库 = Chroma(
        persist_directory=本地库路径,
        embedding_function=OpenAIEmbeddings()
    )
    # 获取文档和向量
    检索结果 = 本地库.get()
    文本列表 = 检索结果["documents"]
    向量列表 = 检索结果["embeddings"]
    # 上传到Pinecone
    远程库 = Pinecone.from_existing_index(
        索引名, OpenAIEmbeddings()
    )
    # 批量添加
    远程库.add_texts(texts=文本列表)
    print(f"成功同步{len(文本列表)}条记录到Pinecone")

在这里插入图片描述

常见任务示例

1. 批量文档导入

# 批量处理文件夹中的所有文档
import os
from langchain.document_loaders import DirectoryLoader
from langchain.document_loaders import TextLoader, CSVLoader, PDFLoader
# 定义加载器映射
加载器映射 = {
    ".txt": (TextLoader, {}),
    ".csv": (CSVLoader, {"encoding": "utf-8"}),
    ".pdf": (PDFLoader, {})
}
def 批量导入(文件夹路径, 存储路径):
    所有文档 = []
    # 遍历文件夹内所有支持的文件
    for 根目录, _, 文件列表 in os.walk(文件夹路径):
        for 文件名 in 文件列表:
            完整路径 = os.path.join(根目录, 文件名)
            扩展名 = os.path.splitext(文件名)[1].lower()
            # 检查是否支持该文件类型
            if 扩展名 in 加载器映射:
                加载器类, 参数 = 加载器映射[扩展名]
                try:
                    加载器 = 加载器类(完整路径, **参数)
                    文档 = 加载器.load()
                    所有文档.extend(文档)
                    print(f"成功加载 {文件名}")
                except Exception as e:
                    print(f"加载 {文件名} 失败: {e}")
    # 分割文档
    分割器 = RecursiveCharacterTextSplitter(
        chunk_size=1000,
        chunk_overlap=200
    )
    分块 = 分割器.split_documents(所有文档)
    # 创建向量存储
    向量库 = Chroma.from_documents(
        documents=分块,
        embedding=OpenAIEmbeddings(),
        persist_directory=存储路径
    )
    向量库.persist()
    return f"已导入 {len(所有文档)} 个文档，共 {len(分块)} 个文本块"

2. 知识库导出备份

# 创建知识库备份工具
def 知识库备份(源路径, 目标格式="json", 保留向量=True):  # 默认JSON格式
    # 加载源知识库
    源库 = Chroma(
        persist_directory=源路径,
        embedding_function=OpenAIEmbeddings()
    )
    # 获取所有内容
    数据 = 源库.get()
    文档列表 = 数据["documents"]
    元数据列表 = 数据["metadatas"]
    向量列表 = 数据["embeddings"] if 保留向量 else None
    # 准备导出数据
    导出数据 = {
        "documents": 文档列表,
        "metadatas": 元数据列表
    }
    if 保留向量:
        导出数据["embeddings"] = 向量列表
    # 根据不同格式保存
    import json
    import pickle
    备份路径 = f"{源路径}_backup"
    os.makedirs(备份路径, exist_ok=True)
    if 目标格式 == "json":
        # JSON格式不能直接存储复杂向量，需要转换
        if 保留向量:
            for i, 向量 in enumerate(导出数据["embeddings"]):
                导出数据["embeddings"][i] = 向量.tolist()
        with open(f"{备份路径}/backup.json", "w", encoding="utf-8") as f:
            json.dump(导出数据, f, ensure_ascii=False, indent=2)
    elif 目标格式 == "pickle":
        with open(f"{备份路径}/backup.pkl", "wb") as f:
            pickle.dump(导出数据, f)
    return f"备份完成，保存在 {备份路径}"

在这里插入图片描述