win11+deepseeek-r1+Langchain-Chatchat-v0.3.1搭建本地知识库

最新推荐文章于 2025-04-12 00:30:00 发布
最新推荐文章于 2025-04-12 00:30:00 发布
阅读量774 收藏 17
点赞数 14
分类专栏： 大模型 文章标签： langchain 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhulong1984/article/details/146225693
版权

 

目录

一、硬件配置

二、软件资源

 三、环境搭建

1.基础环境安装：

 2.执行初始化

 3.初始化知识库

 4.启动项目

        1)、访问 Ollama 官网 下载 Windows 预览版安装程序。

         2)、model_settings.yaml进行修改如下：

 3)、启动chat：

 四、搭建自己的数据库

1、 准备数据库数据，自己可以按照文档整理如下：

2、之后新建知识库的名字，把上面的文档加入即可，之后需要等待文件解析完成，切记命名要用英文。​编辑

 五、基于本地知识库问答

六、小结：

一、硬件配置

  1. CPU：i9 2.3Ghz；
  2. GPU：GTX4060  8G显存；
  3. 内存：16G；
  4. 硬盘：1T 

二、软件资源

  1.  Langchain-Chatchat：https://github.com/chatchat-space/Langchain-Chatchat
  2. ollama：ollama version is 0.5.12
  3. python：python3.11
  4. cuda： cuda11.8
  5. anaconda： Anaconda3-2022.10-Windows-x86_64.exe

 三、环境搭建

1.基础环境安装：

(base) PS C:\Users\18710> conda env list
# conda environments:
#
base                  *  C:\Users\18710\anaconda3
langchain-chatchat-python3.11     C:\Users\18710\anaconda3\envs\langchain-chatchat-python3.11
torch_cpu                C:\Users\18710\anaconda3\envs\torch_cpu
torch_gpu                C:\Users\18710\anaconda3\envs\torch_gpu

(base) PS C:\Users\18710> conda activate langchain-chatchat-python3.11

(base) PS C:\Users\18710> pip install langchain-chatchat -U

 2.执行初始化

建立一个自己的工程文件夹，如Langchain-Chatchat，进入这个文件夹下执行：

(langchain-chatchat-python3.11) PS D:\Code\Python\Langchain-Chatchat> chatchat init
2025-03-13 09:29:37.607 | WARNING  | chatchat.server.utils:detect_xf_models:107 - cannot connect to xinference host: http://127.0.0.1:9997, please check your configuration.
2025-03-13 09:29:37.608 | WARNING  | chatchat.server.utils:get_default_llm:205 - default llm model glm4-chat is not found in available llms, using qwen:7b instead
2025-03-13 09:29:37.625 | WARNING  | chatchat.server.utils:get_default_embedding:214 - default embedding model bge-m3 is not found in available embeddings, using quentinz/bge-large-zh-v1.5 instead
2025-03-13 09:29:37.626 | WARNING  | chatchat.server.utils:get_default_embedding:214 - default embedding model bge-m3 is not found in available embeddings, using quentinz/bge-large-zh-v1.5 instead
2025-03-13 09:29:37.627 | WARNING  | chatchat.server.utils:get_default_embedding:214 - default embedding model bge-m3 is not found in available embeddings, using quentinz/bge-large-zh-v1.5 instead
2025-03-13 09:29:37.629 | WARNING  | chatchat.server.utils:get_default_embedding:214 - default embedding model bge-m3 is not found in available embeddings, using quentinz/bge-large-zh-v1.5 instead
2025-03-13 09:29:37.632 | SUCCESS  | chatchat.cli:init:47 - 开始初始化项目数据目录：D:\Code\Python\Langchain-Chatchat
2025-03-13 09:29:37.635 | SUCCESS  | chatchat.cli:init:49 - 创建所有数据目录：成功。
2025-03-13 09:29:37.661 | SUCCESS  | chatchat.cli:init:52 - 复制 samples 知识库文件：成功。
2025-03-13 09:29:37.723 | SUCCESS  | chatchat.cli:init:54 - 初始化知识库数据库：成功。
2025-03-13 09:29:37.910 | SUCCESS  | chatchat.cli:init:66 - 生成默认配置文件：成功。
2025-03-13 09:29:37.910 | SUCCESS  | chatchat.cli:init:67 - 请先检查确认 model_settings.yaml 里模型平台、LLM模型和Embed模型信息已经正确
2025-03-13 09:29:37.910 | SUCCESS  | chatchat.cli:init:76 - 执行 chatchat kb -r 初始化知识库，然后 chatchat start -a 启动服务。

 3.初始化知识库

       进行知识库初始化前，请确保已经启动模型推理框架及对应 embedding 模型，且已按照上述步骤2完成模型接入配置。

chatchat kb -r

        最后输出以下信息表示成功：

 4.启动项目

        项目启动部分，只要对model_settings.yaml进行修改，修改前需要先安装ollama，这些教程都比较简单：

        1)、访问 Ollama 官网 下载 Windows 预览版安装程序。

        之后输入以下内容，拉 embedding model和LLM模型。

ollama pull deepseek-r1:7b
ollama pull bge-m3
         2)、model_settings.yaml进行修改如下：
# 模型配置项


# 默认选用的 LLM 名称 #修改
DEFAULT_LLM_MODEL: deepseek-r1:7b

# 默认选用的 Embedding 名称 #修改
DEFAULT_EMBEDDING_MODEL: bge-m3:latest

# AgentLM模型的名称 (可以不指定，指定之后就锁定进入Agent之后的Chain的模型，不指定就是 DEFAULT_LLM_MODEL)
Agent_MODEL: ''

# 默认历史对话轮数
HISTORY_LEN: 3

# 大模型最长支持的长度，如果不填写，则使用模型默认的最大长度，如果填写，则为用户设定的最大长度
MAX_TOKENS:

# LLM通用对话参数
TEMPERATURE: 0.7

# 支持的Agent模型
SUPPORT_AGENT_MODELS:
  - chatglm3-6b
  - glm-4
  - openai-api
  - Qwen-2
  - qwen2-instruct
  - gpt-3.5-turbo
  - gpt-4o

# LLM模型配置，包括了不同模态初始化参数。
# `model` 如果留空则自动使用 DEFAULT_LLM_MODEL
LLM_MODEL_CONFIG:
  preprocess_model:
    model: ''
    temperature: 0.05
    max_tokens: 4096
    history_len: 10
    prompt_name: default
    callbacks: false
  llm_model:
    model: ''
    temperature: 0.9
    max_tokens: 4096
    history_len: 10
    prompt_name: default
    callbacks: true
  action_model:
    model: ''
    temperature: 0.01
    max_tokens: 4096
    history_len: 10
    prompt_name: ChatGLM3
    callbacks: true
  postprocess_model:
    model: ''
    temperature: 0.01
    max_tokens: 4096
    history_len: 10
    prompt_name: default
    callbacks: true
  image_model:
    model: sd-turbo
    size: 256*256

# # 模型加载平台配置


# # 平台名称 #修改
platform_name: ollama

# # 平台类型 #修改
# # 可选值：['xinference', 'ollama', 'oneapi', 'fastchat', 'openai', 'custom openai']
platform_type: ollama

# # openai api url #修改
api_base_url: http://127.0.0.1:11434/v1

# # api key if available
# api_key: EMPTY

# # API 代理
# api_proxy: ''

# # 该平台单模型最大并发数
# api_concurrencies: 5

# # 是否自动获取平台可用模型列表。设为 True 时下方不同模型类型可自动检测
# auto_detect_model: false

# # 该平台支持的大语言模型列表，auto_detect_model 设为 True 时自动检测
# llm_models: []

# # 该平台支持的嵌入模型列表，auto_detect_model 设为 True 时自动检测
# embed_models: []

# # 该平台支持的图像生成模型列表，auto_detect_model 设为 True 时自动检测
# text2image_models: []

# # 该平台支持的多模态模型列表，auto_detect_model 设为 True 时自动检测
# image2text_models: []

# # 该平台支持的重排模型列表，auto_detect_model 设为 True 时自动检测
# rerank_models: []

# # 该平台支持的 STT 模型列表，auto_detect_model 设为 True 时自动检测
# speech2text_models: []

# # 该平台支持的 TTS 模型列表，auto_detect_model 设为 True 时自动检测
# text2speech_models: [] #修改
MODEL_PLATFORMS:
  - platform_name: xinference
    platform_type: xinference
    api_base_url: http://127.0.0.1:9997/v1
    api_key: EMPTY
    api_proxy: ''
    api_concurrencies: 5
    auto_detect_model: true
    llm_models: []
    embed_models: []
    text2image_models: []
    image2text_models: []
    rerank_models: []
    speech2text_models: []
    text2speech_models: []
  - platform_name: ollama
    platform_type: ollama
    api_base_url: http://127.0.0.1:11434/v1
    api_key: EMPTY
    api_proxy: ''
    api_concurrencies: 5
    auto_detect_model: false
    llm_models:
      - qwen:7b
      - qwen2:7b
      - deepseek-r1:7b
    embed_models:
      - quentinz/bge-large-zh-v1.5
      - bge-m3:latest
    text2image_models: []
    image2text_models: []
    rerank_models: []
    speech2text_models: []
    text2speech_models: []
  - platform_name: oneapi
    platform_type: oneapi
    api_base_url: http://127.0.0.1:3000/v1
    api_key: sk-
    api_proxy: ''
    api_concurrencies: 5
    auto_detect_model: false
    llm_models:
      - chatglm_pro
      - chatglm_turbo
      - chatglm_std
      - chatglm_lite
      - qwen-turbo
      - qwen-plus
      - qwen-max
      - qwen-max-longcontext
      - ERNIE-Bot
      - ERNIE-Bot-turbo
      - ERNIE-Bot-4
      - SparkDesk
    embed_models:
      - text-embedding-v1
      - Embedding-V1
    text2image_models: []
    image2text_models: []
    rerank_models: []
    speech2text_models: []
    text2speech_models: []
  - platform_name: openai
    platform_type: openai
    api_base_url: https://api.openai.com/v1
    api_key: sk-proj-
    api_proxy: ''
    api_concurrencies: 5
    auto_detect_model: false
    llm_models:
      - gpt-4o
      - gpt-3.5-turbo
    embed_models:
      - text-embedding-3-small
      - text-embedding-3-large
    text2image_models: []
    image2text_models: []
    rerank_models: []
    speech2text_models: []
    text2speech_models: []
 3)、启动chat：

输入chatchat start -a

启动后界面如下：

同时产生 Langchain-Chatchat WebUI界面：

 四、搭建自己的数据库

  • 1、 准备数据库数据，自己可以按照文档整理如下：

  • 2、之后新建知识库的名字，把上面的文档加入即可，之后需要等待文件解析完成，切记命名要用英文。

 五、基于本地知识库问答

六、小结：

  1.  model_settings.yaml 配置中模型要用全称；
  2. httpx 需要该成  httpx==0.27.2的版本，否则会报错；
  3. 知识库命名一定是要用英文。
  4. QQ：187100248，大模型交流。

deepseek 搭建本地私有化知识库（windows 基于LangChain-Chatchat + ollama + bge-m3）
我hate吃西红柿
02-13 1216
之前写过一篇LangChain-Chatchat搭建本地知识库的，现在再次讲解下 LangChain-Chatchat + deepseek + bge-m3 来实现本地私有化知识库。
Langchain-chatchat系列一： Langchain基本概念与应用解析
2401_84495872的博客
12-03 2726
理解了chains的作用和意义，才能真正理解Langchain的作用和意义，个人理解，Langchain就像高达玩具一样，可以融合市场上主流的大模型，并且提供了组合调用链路以供使用者快速上手使用，也支持使用者自己定义组装自己的调用链路，以此来满足各种各种的场景需求，因此与其说Langchain是个框架和工具，倒不如说Langchain是一个设计模式或者理念，使用者不应该拘泥于某一种的使用方式，而是探索在不同的场景中如何让chains更加高效的工作，甚至是自定义自己的chains。
DeepSeek接入个人知识库，一般电脑也能飞速跑，确实可以封神了！
datian1234的博客
02-04 6483
本地搭建个人知识库方案基于 Whoosh（本地查询极速）和 DeepSeek-r1:1.5b（回答迅速效果好），实现轻量、极速、免费。具体以下三点：1）轻量高效：基于 Whoosh 实现毫秒级关键词查询，无需向量数据库，适合本地运行。2）极速响应：结合 DeepSeek-r1:1.5b 大模型，实现秒级 AI 回复，兼顾速度与效果。3）免费开源：所有工具均为开源软件，无需额外费用，适合个人和企业本地知识管理。为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。
ChatNet v1.11-V1.9 汉化版源码分享及详细搭建教程，自建聊天室和私人聊天程序
软希网分享源码的博客
04-12 401
ChatNet v1.11-V1.9 汉化版源码分享及详细搭建教程，自建聊天室和私人聊天程序
langchain-chatchat-0.3.0小白保姆部署指南
Panda_Panda博客
06-25 1万+
1.从 0.3.0 版本起，Langchain-Chatchat 不再根据用户输入的本地模型路径直接进行模型加载，涉及到的模型种类包括 LLM、Embedding、Reranker 及后续会提供支持的多模态模型等，均改为支持市面常见的各大模型推理框架接入，如。来展示如何在本地用 Xinference 运行大模型,我这里自定义了一个存储日志文件和大模型，embidding模型的路径，如果不自定义一个路径将会下载到默认的一个路径下，这样很容易将我们的系统盘给撑爆，以魔塔社区下载模型为例。
探索LangChain-Chatchat 0.3：一体化Agent与强大RAG模型的全面入门指南
python123456_的博客
06-29 2169
LangChain-Chatchat 支持RAG和Agent0.3版本跟大模型解耦,支持XinferenceOllamaLocalAIFastChatOne API,可以非常方便的切换各个模型,本文只是介绍XinferenceXorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。
Langchain-Chatchat 从入门到精通（基于本地知识库的问答系统）（更新中）
热门推荐
艰难困苦，玉汝于成。
04-10 2万+
一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
01-25
受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发，建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中通过使用 FastChat 接入 Vicuna, Alpaca, LLaMA...
langchain-chatchat代码使用
04-13
langchain-chatchat代码结构思维导图
纯新手的langchain-chatchat0.3.1的linux本地部署
jiall20的博客
11-06 2150
从 0.3.0 版本起，Langchain-Chatchat 不再根据用户输入的本地模型路径直接进行模型加载，涉及到的模型种类包括 LLM、Embedding、Reranker 及后续会提供支持的多模态模型等，如下载bge-large-zh-v1.5，我的下载位置是/home/……因此，请确认在启动 Langchain-Chatchat 项目前，首先进行模型推理框架的运行，并加载所需使用的模型。如果需要使用 Xinference 进行模型推理，可以根据不同的模型指定不同的引擎。
Windows本地部署知识库-Langchain-Chatchat0.3.1.3本地搭建
Andy O`Connor的博客
09-23 1933
基于ChatGLM等大语言模型与Langchain等应用框架实现，开源、可离线部署的RAG与Agent应用项目。一种利用langchain思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。支持市面上主流的开源LLMEmbedding模型与向量数据库，可实现全部使用开源模型离线私有部署。与此同时，本项目也支持的调用。
【LLM大模型】Langchain-Chatchat 源码部署测试
Y525698136的博客
07-31 6393
【LLM大模型】Langchain-Chatchat 源码部署测试
Windows使用Langchain-Chatchat与Ollama搭建本地离线知识库
snolkmg的博客
10-22 3638
为避免依赖冲突，请将 Langchain-Chatchat 放在 Python 虚拟环境中, 比如 conda, venv, virtualenv 等。基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的 RAG 与 Agent 应用项目。需要删除ollama之外的所有其他工具的配置，仅保留ollama相关配置。下载并安装，当前安装版本为v0.3.14。若不设置该环境变量，则自动使用当前目录。均可使用默认配置，需要修改可以参考。当前版本v0.3.1.3。
Android安装教程
Ashely_evina的博客
03-11 676
安装 Android Studio 首先先要检查系统要求 可以在以下的操作系统开始 Android 应用程序开发： Microsoft® Windows® 8/7/Vista/2003 (32 or 64位)。 Mac® OS X® 10.8.5 或者更高 GNOME or KDE 桌面 所有开发 Android 应用程序需要的工具都是开源的，并且可以从互联网上下载。以下是开始 Android 应用程序编程之前需要的软件列表： Java JDK5 及以后版本 Java 运行时环境6 Androi
Langchain-Chatchat大语言模型本地知识库的踩坑、部署、使用
积跬步，至千里。
12-08 1万+
Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现的大语言模型本地知识库应用项目。
LangChain-Chatchat + deepseek 搭建知识库应用
细节处有神明的博客
03-07 1293
之前介绍过如何使用 cherry studio 搭建本地知识库应用，不过它只能在个人电脑上运行，无法实现web端的应用。如何利用开源工具LangChain - Chatchat，在本地快速构建一个知识库的web应用，希望对大家有所帮助，如果有什么疑问欢迎留言评论。
Chatchat错误记录：自定义模型已经在xinference正常启动，但chatchat中不显示
yxx122345的博客
09-04 330
要让模型在xinference里跑起来才行。
LangChain-Chatchat初见面
小马过河R的博客
11-23 2105
(原Langchain-ChatGLM)基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的 RAG 与 Agent 应用项目。一种利用LangChain思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
langchain-chatchat 本地私有知识库搭建
最新发布
05-01
</think>### Langchain-Chatchat本地私有知识库搭建步骤 #### 一、环境配置 1. **克隆项目源码** 通过Git下载最新版本代码（当前推荐v0.2.10）： ```bash git clone git@github....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值