ChatGLM-6B + Langchain实战:手把手教你搭建本地知识库问答系统(附避坑指南)

Langchain-ChatGLM:基于本地知识库问答 ChatGLM-6B 是⼀个开源的、⽀持中英双语的对话语⾔模型,基于 General LanguageModel (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。 阅读详情

从零构建企业级本地知识库:ChatGLM-6B与LangChain深度整合实战

你是否曾遇到过这样的场景:团队内部积累了大量的技术文档、产品手册、会议纪要,但当新同事需要查找某个特定问题的解决方案时,却像大海捞针一样困难?或者,当你面对一份长达数百页的行业报告,想要快速提取核心观点时,只能手动翻阅,效率低下?在信息爆炸的时代,如何让沉淀的知识“活”起来,成为团队随时可用的智慧资产,是许多技术负责人和开发者面临的共同挑战。

传统的全文检索工具虽然能解决部分问题,但往往停留在关键词匹配层面,无法理解问题的深层意图,更难以进行多轮对话式的精准问答。而基于大语言模型的智能问答系统,为我们打开了一扇新的大门。它不仅能“读懂”文档,还能“理解”问题,并以自然语言的形式给出连贯、准确的答案。今天,我们就来深入探讨如何利用开源的ChatGLM-6B模型与LangChain框架,亲手搭建一个部署在本地服务器或高性能PC上的、完全私有的知识库问答系统。这套方案尤其适合对数据安全有严格要求、希望完全掌控技术栈、且预算有限的中小团队或个人开发者。

1. 核心组件深度解析:为何选择ChatGLM-6B与LangChain

在动手之前,理解我们手中“武器”的特性与优势至关重要。这并非简单的工具堆砌,而是基于特定需求的技术选型。

1.1 ChatGLM-6B:专为中文场景优化的轻量级“大脑”

ChatGLM-6B并非一个通用的、庞然大物般的模型,它的设计哲学是在有限的资源下,为中文对话和问答提供最优的性价比。理解这一点,是后续一切优化的基础。

  • 双语优势与中文优化:与许多从英文语料训练而来、再简单适配中文的模型不同,ChatGLM-6B从训练之初就深度融合了中英双语数据。这意味着它在处理中文语法、成语、专业术语乃至网络流行语时,表现更为自然和准确。其后续的v1.1版本特别平衡了中英文数据比例,有效解决了早期版本在英文回答中偶尔夹杂中文词语的“语言混合”问题。
  • 消费级硬件友好:62亿参数的规模,结合INT4量化技术,使得模型在仅需6GB显存的消费级显卡(如NVIDIA RTX 3060 12GB)上就能流畅运行。这彻底打破了部署大模型需要昂贵计算集群的刻板印象,让个人开发者和中小团队拥有了实践AI应用的可能。
  • 超越闲聊的实用能力:除了基础的对话,ChatGLM-6B在以下场景中经过针对性优化,表现突出:
    • 信息抽取与总结:从长文本中快速抓取人物、时间、地点、事件等关键实体,或生成段落摘要。
    • 结构化写作:根据用户提供的要点,生成会议纪要、邮件、博客提纲等具有固定格式的文案。
    • 角色扮演与场景化应答:可以将其设定为“技术支持专员”、“产品知识顾问”等角色,使其回答更具专业性和一致性。

注意:尽管ChatGLM-6B能力出众,但它仍是一个中等规模的模型。对于极其复杂、需要深度逻辑推理或高度创造性的任务,其表现可能不及百亿、千亿参数的大模型。我们的策略是扬长避短,将其核心能力与本地知识库结合,在垂直领域内做到极致。

1.2 LangChain:构建智能应用的操作系统

如果把ChatGLM-6B比作一个聪明但“孤僻”的大脑,那么LangChain就是为这个大脑连接四肢、感官和记忆的神经系统。它是一个框架,而非一个具体应用。

LangChain的核心价值在于提供了模块化的“积木”,让我们能以可编排的方式,将大语言模型与外部世界连接起来。其核心模块构成了我们知识库系统的骨架:

模块核心功能在知识库系统中的作用
Models对接多种LLM允许我们灵活接入ChatGLM-6B,未来也可无缝切换至其他开源或商用模型。
Indexes文档加载、处理与向量化这是知识库的“记忆”形成过程。负责读取PDF、Word、TXT等文件,进行智能文本分割,并转化为向量(Embedding)存入数据库。
Retrieval信息检索当用户提问时,将问题也转化为向量,并在知识库中快速找到最相关的文本片段。
Chains任务链式编排将“检索相关文档”和“让模型基于文档回答”两个步骤串联起来,形成完整的问答流水线。
Memory对话记忆管理管理多轮对话的上下文,让系统记住之前的问答历史,实现连贯的对话体验。
Agents智能代理更高阶的功能,允许模型自主调用工具(如计算器、搜索引擎API)来完成任务,为系统扩展性留出空间。

选择LangChain,意味着我们不是从零开始造轮子,而是站在一个经过社区验证的、活跃度极高的框架之上,快速构建一个稳定、可扩展的应用。

2. 环境搭建与项目初始化:避开第一个“坑”

万事开头难,一个干净、兼容的环境是项目成功的基石。这里我们以目前社区维护最活跃的 Langchain-Chatchat 项目(0.2.x版本)为例,因为它提供了更完善的Web界面和知识库管理功能。

2.1 精准的Python环境配置

版本冲突是新手最常见的“拦路虎”。严格按照项目要求配置环境,能节省大量排错时间。

# 1. 使用conda创建独立的Python环境,避免污染系统环境
conda create -n langchain-chat python=3.9 -y
conda activate langchain-chat

# 2. 克隆指定版本的项目仓库(以v0.2.7稳定版为例)
git clone -b v0.2.7 https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat

# 3. 安装项目核心依赖
pip install -r requirements.txt

这里有几个关键点需要强调:

  • Python 3.9:这是一个经过大量测试的稳定版本。使用3.10或3.11可能会遇到某些底层库(如torch)的兼容性问题。
  • -b v0.2.7:指定克隆分支。Langchain生态迭代很快,主分支可能包含未稳定的新特性。对于生产或学习,建议使用带有版本号的发布分支。
  • 网络问题:安装torch(PyTorch)时,如果从官方源下载慢,可以使用清华、阿里等国内镜像源。更推荐的是,根据你的CUDA版本,直接从PyTorch官网获取安装命令。

2.2 模型下载与配置:路径是核心

系统需要两个模型:一个用于生成答案的大语言模型(LLM),这里用ChatGLM-6B;另一个用于将文本转化为向量的嵌入模型(Embedding Model),推荐使用针对中文优化的m3e-base或bge-large-zh。

# 假设我们在 /data/models 目录下存放模型
cd /data/models

# 使用Hugging Face的git工具下载ChatGLM-6B(需先安装git-lfs)
git lfs install
git clone https://huggingface.co/THUDM/chatglm-6b

# 下载嵌入模型 m3e-base
git clone https://huggingface.co/moka-ai/m3e-base

下载完成后,最关键的一步是正确配置 configs/model_config.py 文件。这个文件是系统的大脑地图,告诉程序去哪里找模型。

# 打开 model_config.py,找到 MODEL_PATH 字典进行修改
MODEL_PATH = {
    "embed_model": {
        "m3e-base": "/data/models/m3e-base",  # 修改为你实际的m3e-base路径
    },
    "llm_model": {
        "chatglm-6b": "/data/models/chatglm-6b",  # 修改为你实际的chatglm-6b路径
    }
}

# 同时,在同一个文件中,设置默认使用的模型
EMBEDDING_MODEL = "m3e-base"
LLM_MODEL = "chatglm-6b"

提示:模型文件通常很大(ChatGLM-6B约12GB)。如果下载中断,可以使用 git lfs pull 继续下载。也可以在一些国内镜像站(如魔搭ModelScope)寻找下载渠道,速度会快很多。

3. 知识库构建全流程:从文档到智能

这是系统的“知识注入”阶段。原始文档就像未经加工的矿石,我们需要通过一系列流程将其提炼成模型可以高效利用的“向量化知识”。

3.1 文档加载与智能分割

LangChain提供了多种文档加载器(Document Loaders)。我们创建一个简单的脚本来演示如何加载一个包含多种格式文档的文件夹。

# file_processor.py
import os
from langchain.document_loaders import (
    TextLoader,
    UnstructuredMarkdownLoader,
    UnstructuredFileLoader  # 用于处理PDF、Word等
)
from langchain.text_splitter import RecursiveCharacterTextSplitter

def load_and_split_documents(directory_path):
    """
    加载指定目录下的所有文档并进行智能分割。
    """
    documents = []
    for filename in os.listdir(directory_path):
        file_path = os.path.join(directory_path, filename)
        try:
            if filename.endswith('.txt'):
                loader = TextLoader(file_path, encoding='utf-8')
            elif filename.endswith('.md'):
                loader = UnstructuredMarkdownLoader(file_path)
            elif filename.endswith('.pdf') or filename.endswith('.docx'):
                # 处理PDF和Word需要额外的依赖库(如unstructured, pypdf)
                loader = UnstructuredFileLoader(file_path)
            else:
                continue
            loaded_docs = loader.load()
            documents.extend(loaded_docs)
        except Exception as e:
            print(f"Error loading {filename}: {e}")

    # 使用递归字符分割器,优先按段落、句子分割,保持语义连贯
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=500,  # 每个文本块的最大字符数
        chunk_overlap=50,  # 块之间的重叠字符数,避免上下文断裂
        separators=["\n\n", "\n", "。", "!", "?", ";", ",", "、", " ", ""] # 中文友好的分隔符
    )
    split_docs = text_splitter.split_documents(documents)
    print(f"原始文档数: {len(documents)}, 分割后块数: {len(split_docs)}")
    return split_docs

# 使用示例
if __name__ == "__main__":
    my_docs = load_and_split_documents("./my_knowledge_base")
  • chunk_size:这是最重要的参数之一。设置过小(如100),会丢失上下文信息,模型可能无法理解片段含义;设置过大(如2000),会导致检索精度下降,且输入模型的令牌数可能超限。对于中文,500-800是一个不错的起点。
  • chunk_overlap:重叠部分确保了重要的上下文信息(尤其是处于句子或段落边界的概念)不会因为分割而丢失。

3.2 向量化与存储:构建知识的“指纹库”

分割后的文本需要转化为计算机能理解的数学形式——向量(一组数字)。语义相似的文本,其向量在空间中的距离也更近。

# vector_store.py
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import Chroma  # 使用Chroma作为向量数据库,轻量且易用

def create_vector_store(text_chunks, persist_directory="./chroma_db"):
    """
    将文本块向量化并存储到持久化数据库中。
    """
    # 1. 初始化嵌入模型
    embeddings = HuggingFaceEmbeddings(model_name="/data/models/m3e-base")

    # 2. 创建向量存储。Chroma会将向量持久化到本地磁盘
    vectorstore = Chroma.from_documents(
        documents=text_chunks,
        embedding=embeddings,
        persist_directory=persist_directory
    )
    # 显式持久化
    vectorstore.persist()
    print(f"向量数据库已创建并保存至: {persist_directory}")
    return vectorstore

# 与上一步衔接
if __name__ == "__main__":
    from file_processor import load_and_split_documents
    docs = load_and_split_documents("./my_knowledge_base")
    db = create_vector_store(docs)

运行这段代码后,会在当前目录下生成一个 chroma_db 文件夹,里面存储了所有文本块的向量“指纹”。以后系统检索时,直接加载这个数据库即可,无需重新计算。

4. 问答链集成与Web界面部署

现在,我们有了模型(大脑)和知识库(记忆),需要用LangChain的“链”把它们连接起来,并提供一个友好的交互界面。

4.1 构建检索问答链

这是系统的核心逻辑:接收用户问题 -> 在知识库中检索相关片段 -> 将问题和片段组合成提示词 -> 发送给ChatGLM-6B生成答案。

# qa_chain.py
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate
from langchain.llms import ChatGLM
from langchain.vectorstores import Chroma
from langchain.embeddings import HuggingFaceEmbeddings

def create_qa_chain(vectorstore_path="./chroma_db"):
    # 1. 加载已有的向量数据库
    embeddings = HuggingFaceEmbeddings(model_name="/data/models/m3e-base")
    db = Chroma(persist_directory=vectorstore_path, embedding_function=embeddings)

    # 2. 初始化ChatGLM-6B模型
    # 注意:这里需要指定正确的本地模型路径,并设置合适的参数
    llm = ChatGLM(
        endpoint_url="http://localhost:8000",  # 假设ChatGLM模型通过API服务运行
        max_token=2048,
        temperature=0.1  # 较低的温度使输出更确定、更少随机性
    )
    # 或者,如果你直接加载本地模型(需足够显存):
    # from langchain.llms import HuggingFacePipeline
    # llm = HuggingFacePipeline.from_model_id(...)

    # 3. 定义自定义提示模板,引导模型基于上下文回答
    prompt_template = """基于以下已知信息,简洁、专业地回答用户的问题。
    如果无法从已知信息中得到答案,请明确告知“根据已知信息无法回答该问题”,不要编造答案。

    已知信息:
    {context}

    问题:
    {question}

    答案:"""
    PROMPT = PromptTemplate(
        template=prompt_template,
        input_variables=["context", "question"]
    )

    # 4. 创建检索问答链
    qa_chain = RetrievalQA.from_chain_type(
        llm=llm,
        chain_type="stuff",  # 最简单的方式,将所有检索到的上下文塞入提示
        retriever=db.as_retriever(search_kwargs={"k": 4}),  # 检索最相关的4个片段
        chain_type_kwargs={"prompt": PROMPT},
        return_source_documents=True  # 返回参考来源,便于追溯
    )
    return qa_chain

# 使用示例
if __name__ == "__main__":
    qa = create_qa_chain()
    result = qa({"query": "公司今年的产品研发重点是什么?"})
    print("答案:", result["result"])
    print("\n参考来源:")
    for doc in result["source_documents"][:2]:  # 打印前两个来源
        print(f"- {doc.metadata.get('source', '未知')}: {doc.page_content[:200]}...")
  • search_kwargs={“k”: 4}:控制检索返回的文本块数量。增加k值可以提供更多上下文,但也会增加模型处理负担和无关信息干扰。需要根据实际效果调整。
  • 提示词工程:prompt_template 是控制模型行为的关键。清晰的指令能显著提升答案质量。这里我们明确要求模型基于已知信息回答,并对未知情况诚实回应。

4.2 一键启动Web服务

Langchain-Chatchat 项目提供了开箱即用的Web UI。完成上述配置后,启动服务非常简单。

# 在项目根目录下,执行一键启动脚本
python startup.py -a

这个命令会同时启动三个服务:

  1. LLM模型API服务:将ChatGLM-6B模型封装成API,供后端调用。
  2. 后端API服务:提供知识库管理、问答等功能的RESTful API。
  3. 前端Web服务:基于Gradio或FastAPI构建的交互式界面。

启动成功后,在浏览器中打开 http://localhost:8501(具体端口请查看终端输出),你将看到一个直观的界面。在这里,你可以:

  • 管理知识库:上传新的文档(支持拖拽)、创建/删除知识库、查看已录入的文档列表。
  • 进行对话:在对话框中选择已创建的知识库,然后像使用ChatGPT一样提问。
  • 查看溯源:答案下方通常会显示引用的源文档片段,点击可以查看原文,这增加了答案的可信度和可验证性。

5. 性能调优与高级技巧

系统跑起来只是第一步,要让其真正好用,还需要一些“打磨”。

5.1 解决显存不足与响应慢的问题

在资源有限的机器上,这是最现实的挑战。

  • 模型量化:这是降低显存占用的最有效手段。ChatGLM-6B官方提供了INT8和INT4量化版本的模型。INT4量化模型仅需约6GB显存,虽然精度略有损失,但在大多数问答任务上表现依然可靠。你可以在Hugging Face模型库中直接搜索 chatglm-6b-int4 进行下载替换。
  • 使用更轻量的嵌入模型:m3e-base 约400MB,如果仍觉压力大,可以尝试 text2vec-small 等更小的模型,但检索精度可能会受影响。
  • 优化检索策略:
    • 调整 chunk_size:较小的块(如300)检索更精准,但可能丢失上下文;较大的块(如800)上下文更完整,但可能包含无关信息。需要根据你的文档类型(技术文档、会议记录、长文章)进行测试。
    • 使用多路检索:除了基于向量的语义检索,可以结合传统的关键词检索(如BM25),将两者的结果进行融合重排,往往能取得更好的效果。LangChain的 EnsembleRetriever 支持这种操作。
  • 启用GPU加速与批处理:确保 torch 已正确安装CUDA版本。在代码中,可以设置 HuggingFaceEmbeddings 的 model_kwargs={‘device’: ‘cuda’} 来将嵌入模型放到GPU上,大幅提升向量化速度。

5.2 提升答案质量的实用策略

  • 提示词迭代:不要满足于默认提示词。根据你的领域知识,设计更专业的指令。例如,对于技术文档,可以加入“请以技术专家的口吻回答”;对于客服场景,可以加入“回答需简洁、友好、富有同理心”。
  • 后处理与过滤:有时模型会生成“根据上述文档…”之类的冗余开头。可以在拿到答案后,用简单的规则或另一个小模型进行清洗和润色。
  • 实现对话记忆:让系统记住当前会话的历史。LangChain的 ConversationBufferMemory 可以轻松实现这一点,将其集成到 RetrievalQA 链中,用户就能进行“我上一个问题是什么”、“请解释一下刚才提到的XX概念”这样的多轮对话。
from langchain.memory import ConversationBufferMemory

memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
# 在创建QA链时,将memory参数传入
qa_chain = RetrievalQA.from_chain_type(
    ...,
    memory=memory
)

搭建并优化这样一个本地知识库系统,更像是一个持续迭代的工程,而非一蹴而就的任务。最初的版本可能回答得磕磕绊绊,但随着你对文档分割策略、提示词、检索参数的不断调整,它会变得越来越聪明、越来越贴合你的业务需求。最让我有成就感的一刻,往往是当一位非技术同事通过这个自己搭建的系统,快速找到了他急需的那份历史方案文档时,那种技术真正赋能业务的感觉。不妨就从你电脑里那个最混乱的项目文档文件夹开始,动手试试吧。

Langchain+ChatGLM-6B的私有化部署实现企业私有知识库 阅读详情

相关推荐

基于ChatGLM2和langchain的本地知识库问答的实战方案

本文主要介绍了基于ChatGLM2和langchain的本地知识库问答的实战方案,希望对学习大语言模型的同学们有所帮助。 文章目录 1. 介绍 2. 配置环境 2.1 ChatGLM2环境搭建 2.2 进一步环境搭建 3. 修改配置文件 4. 运行代码

herosunly的博客 10万+

LangChain + ChatGLM2-6B 搭建个人专属知识库

之前教过大家利用 langchain + ChatGLM-6B 实现个人专属知识库,非常简单易上手。最近,智谱 AI 研发团队又推出了 ChatGLM 系列的新模型 ChatGLM2-6B,是开源中英双语对话模型 ChatGLM-6B 的第二代版本,性能更强悍。 树先生之所以现在才更新 ChatGLM2-6B 知识库教程,是想等模型本身再多迭代几个版本,不至于刚出的教程很快不适配,或者项目本身一堆 bug,那样大家使用体验也不好。

程序员树先生的博客 7584

【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作

陈光剑简介:著有《ClickHouse入门、实战与进阶》(即将上架)《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师,拥有超过10年的技术研发和管理经验。现就职于字节跳动,曾就职于阿里巴巴,主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累,擅长大数据系统架构和分布式系统架构设计开发。

AI天才研究院 7万+

ChatGLM3-6B和langchain知识库阿里云部署

看了几天chatglm和langchain的部署,经过不断报错,终于试出了可以运行的方案,不过本地知识库搭建还有问题,要再看看。本文主要介绍ChatGLM3-6B的部署和实现效果,和Chatglm2-6b+langchain结合的实现效果。提示:以下是本篇文章正文内容,下面案例可供参考。

m0_52695557的博客 7720

Android Studio运行报错: failed to load include path ……\platforms\android-35\android.jar的最细解决方案

【代码】Android Studio运行报错: failed to load include path ……\platforms\android-35\android.jar的最细解决方案。

2401_86789230的博客 2万+

VBA中如何使用Edge内核Browser?

在微软宣布停止对IE的支持后,许多使用VBA中Web Browser的用户遇到了困境,因为Web Browser使用的IE内核。然而微软并没有给出支持Edge的新版Web Browser,网上许多第三方的库也不够完善。经过调研,libEdge可以较好的和VBA集成,实现在Excel中打开Browser,甚至能够通过执行js代码,获取web页面的信息。项目需要WebView2Loader.dll和LibEdge.dll两个库,区分x86和x64版本。

金木AI 2403

大语言模型langchain+ChatGLM3-6B+本地知识库实战

在aliyun选择硬件资源,选择镜像版本时格外注意pytorch、cuda的版本:pytorch=2.1.2、cuda=12.1、python=3.10,还有modelscope=1.11.0与Tensorflow=2.14.0。其中,model_copy.py里的默认内容不需要删除(有些教程建议删除),将embedding\model相关路径改成绝对路径即可。微调、本地知识库和 prompt 是LMM模型调整和优化中的重要概念,它们之间有一定的关系和区别。处理完成后,再次上传,成功。问题解决,可以上传。

North_D的博客 5240

STM32F103 RTC闹钟唤醒Stop模式的EXTI17中断实现

本文详细介绍了STM32F103如何通过RTC闹钟触发EXTI17中断实现从Stop模式的高效唤醒。针对低功耗应用场景,提供了完整的硬件配置、CubeMX设置及代码实现方案,包括时间格式转换、中断处理和功耗优化技巧,帮助开发者可靠实现定时唤醒功能。

ol78901234的博客 231

基于ChatGLM+Langchain离线搭建本地知识库(免费)

ChatGLM-6B是清华大学发布的一个开源的中英双语对话机器人。基于架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。LangChain提供了丰富的生态,可以非常方便的封装自己的工具,并接入到LangcChain的生态中,从而实现语言模型的交互,将多个组件链接在一起,并集成额外的资源,例如 API 和数据库。

m0_58700887的博客 3398

智能制造 | 如何快速自动生成站位表及自动与BOM校验?

一、站位表(SMT行业中)是SMT上料防错的基础信息,用于对需上料物料与产线、贴片机位置、飞达规格型号、用量,建立基础资料。 SMT站位表是否正确? 首先需要人工确认站位表与SMT程序的是否符合,上料员依照站位表安装好后,确认人员需有第三方确认者 (品管确定)核对。 站位表内容包括什么? 站位表内容为:SMT站位号相对应的物料编码,元件位号,飞达大小/间距,数量等等,根据不同公司的要求而定义。 就目前来说,基本每一款贴片机都可以输出站位清单 但对于企业来说,直接输出的站位清单一般不直接使用,需要进行手动处理

vayoinfo111的博客 4945

一文读懂水利无人机AI识别算法,概念、需求、解决方案

复亚智能的水利无人机AI识别算法通过先进的技术手段,为水利管理提供了高效、精准的解决方案。随着技术的不断进步和应用的深入,复亚智能的解决方案将在更多水利场景中发挥重要作用,助力智慧水利管理的全面升级。该系统通过搭载在无人机上的传感器和摄像头,结合先进的AI识别算法,实现对河道淤积、漂浮物、船只和水质污染等问题的自动检测和监控。基于大量实飞采集的数据,复亚智能的算法经过严格的训练,能够准确识别各种水利问题。复亚智能的系统具有高度的开放性和兼容性,能够与第三方平台和算法无缝对接,满足不同客户的多样化需求。

foiadrone的博客 1200

搭建基于LangChain + ChatGLM2-6B 的个人知识库

采用Langchain和ChatGLM搭建本地知识库。

peter_wjj的专栏 4065

C++开发基础之掌握常用的三种异步编程模型

以上是三种常见的C++异步编程模型,每种模型都有其适用的场景和特点。根据具体需求,你可以选择合适的模型来进行异步编程。

dotnet研习社 2179

ChatGLM-6B + Langchain:手把手搭建本地知识库问答系统(附避坑指南)

本文详细介绍了如何利用ChatGLM-6B大语言模型与LangChain框架,从零搭建一个安全、离线的本地知识库问答系统。内容涵盖环境配置、模型部署、文档向量化、问答链集成及前端开发全流程,并提供了关键的避坑指南和效能优化建议,帮助开发者构建高效、精准的企业级知识大脑。

rose2的博客 971

西安电子科技大学841学长经验分享(总成绩第三名)

西安电子科技大学841学长经验分享(总成绩第三名)

qq_30953547的博客 1086

【MuJoCo】第一章 仿真环境的搭建与入门

它通过优化的接触动力学算法,能够高效处理复杂的多体交互,这使其成为从机械臂操控到足式机器人运动,再到大规模强化学习训练的理想选择。特别是与 JAX 集成的 MJX 的推出,将高性能仿真的边界推向了新的高度,使得在单台机器上并行数千个仿真环境成为可能。我们将通过编写您的第一个仿真程序,逐步拆解 MuJoCo 的工作流,让您亲手感受物理引擎的脉动。这种加速能力对于需要海量仿真样本的强化学习算法(如 PPO)是颠覆性的,它将原本需要数小时的训练缩短到几分钟。上的几何形状,用于碰撞检测和可视化。

u012133341的博客 370

LangChain-Chatchat:基于LangChain和ChatGLM2-6B构建本地离线私有化知识库

自从去年GPT模型火爆以来,降低了很多个人和企业进入人工智能领域的门槛,对于大模型尤其是开源的大模型国内应该比较受关注和期待,毕竟高额的成本也能将不少人阻挡在门外,其次,大家都希望在产品中集成LLM的能力,结合业务来落地智能化应用,提升产品的竞争力,最直接的应用就是构建知识库。

FrenzyTechAI的博客 5886

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

LangChain-ChatGLM-Webui: 基于大语言模型的本地知识库问答系统

LangChain-ChatGLM-Webui是一个开源项目,旨在利用LangChain和ChatGLM-6B等大语言模型,构建基于本地知识库的智能问答应用。该项目提供了一个简洁的Web用户界面,支持上传多种格式的文档,并基于这些文档回答用户的问题。支持多种大语言模型,如ChatGLM-6B系列、Belle系列等支持多种Embedding模型,如text2vec-large-chinese、ernie-3.0-base-zh等支持上传txt、docx、md、pdf等多种文本格式文件。

2401_87189860的博客 1438

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

本地部署 langchain-ChatGLM

本地部署 langchain-ChatGLM

engchina的专栏 1万+

AI-基于Langchain-Chatchat和chatglm3-6b部署私有本地知识库

自从去年GPT模型火爆以来,降低了很多个人和企业进入人工智能领域的门槛,对于大模型尤其是开源的大模型国内应该比较受关注和期待,毕竟高额的成本也能将不少人阻挡在门外,其次,大家都希望在产品中集成LLM的能力,结合业务来落地智能化应用,提升产品的竞争力,最直接的应用就是构建知识库。下面汇总了一下之前介绍的有关构建知识库相关的文章和视频,包含了开源和闭源多种不同的解决方案,从使用情况来看,因为都是开源产品,所以在架构和功能完整性上可能都不够全面,因为一直在持续的迭代过程。

Blueeyedboy521的博客 3713

基于LangChain和ChatGLM-6B本地知识库的自动问答系统

基于LangChain和ChatGLM-6B本地知识库的自动问答系统 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 本项目提供了一个基于LangChain和ChatGLM-6B系列模型的Webui,旨在实现一个基于本地知识库的自动问答系统。该系统支持上传多种文本格式文件,包括txt、docx、md、pdf等,并利用大模型进行智能问答。 功能特点 多格式文件支持:支持...

gitblog_09739的博客 955

ChatGLM实战:基于LangChain构建自己的私有知识库

作者简介:赵辉,区块链技术专家,精通各种联盟链、公链的底层原理,拥有丰富的区块链应用开发经验。在之前的 ChatGLM 微调训练的实验中,由于数据量较小,调试效果并不理想。同时,数据需要符合 Prompt 的 jsonl 格式,而短时间内整理出合适的项目训练数据并不容易。然而,在社区中了解到了langchain基于本地知识库的问答功能,这或许我也可以自己搭建一个本地知识库,直接导入本地文件,从而实...

东南草堂 3160

ChatGLM-6B+LangChain实战

重写_call方法:加载自己的模型,并限制只输出结果(chatglm原输出不是直接str,langchain中要求模型返回必须是str的结果:“”“LLM wrapper should take in a prompt and return a string.”“”)step1:自定义一个GLM继承LangChain中的langchain.llms.base.LLM,load自己的模型.step2:使用LangChain的mapreduce的方法,对文本分块,做摘要,输出结果.

古月哲亭 7700

《企业知识库实战03》ChatGLM + LangChain 本地知识库问答系统 实现原理与优化总结

ChatGLM + LangChain 是落地私有知识问答系统的绝佳组合,它不仅支持本地私有化部署,还提供了完整的文档解析、语义搜索、智能回答流程。 如果你正好在做企业知识库、行业助手、客服系统等产品,这套方案值得直接复用!

weixin_43495982的博客 1174
上一篇: Figma Make实战:产品经理如何用AI快速生成交互原型(附避坑指南)
下一篇: 从零开始理解高并发:QPS、TPS、RT这些指标到底怎么算?
sql99
博客等级 码龄19年 168粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值