【langchain】实战笔记-Langchain-Chatchat win10本地部署FAQ（持续更新）

已于 2024-02-01 10:07:20 修改
阅读量4.1k 收藏 30
点赞数 65
分类专栏： 人工智能 # langchain 文章标签： langchain chatgpt chatgpt-glm
于 2024-01-26 15:54:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xqdd/article/details/135867824
版权
本文聚焦 Langchain-Chatchat 新版本安装部署问题与解决方法。记录了 V0.2.10、V0.2.9、V0.2.8 版本更新，包括重要提示、新增功能与问题修复。还提供模型文件共享、快速安装命令，解答常见安装问题，并列出待解决问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

      在发布了《 Langchain-Chatchat-win10本地安装部署成功笔记（CPU）》后，有不少同学给我私信，说根据我的文档安装成功，也有不少人在安装过程报错了，我的文章是基于V0.2.6版本写的，大部分都是因为升级版本引起的。当前最新版本是V0.2.10，经过验证V0.2.9按照原来的文章或官网的安装部署文档说明进行私有化安装部署都会出现一些问题,建议用V0.2.10版本。

本文专注记录安装部署新版本出现的问题和解决方法。

版本更新记录

V0.2.10

重要提示

Langchain-Chatchat v0.2.10 版本中修改了configs中配置项，建议所有用户按照 Wiki 的开发部署中的相关描述重新完成项目中的配置文件生成。开发部署过程遇到问题请先到 Github Wiki / issues 中搜索。

本次更新中依赖 Python 包与其版本发生了大量更新，请使用pip install -r requirements.txt进行更新。

此版本为 v0.2.x系列最后一个版本，具备全新 Agent 功能的 v0.3.0即将上线，敬请期待。

新增功能

问题修复

V0.2.9

重要提示

Langchain-Chatchat v0.2.9 版本中修改了configs中配置项，建议所有用户按照 Wiki 的开发部署中的相关描述重新完成项目中的配置文件生成。开发部署过程遇到问题请先到 Github Wiki / issues 中搜索。

此外，v0.2.9 版本中知识库相关信息的数据库表发生了变化，如果继续使用之前版本的配置，可使用  python init_database.py --create-tables 仅更新数据库表，不重建知识库。

本次更新中依赖 Python 包与其版本发生了大量更新，请使用pip install -r requirements.txt进行更新。

新增功能

  • 文件对话和知识库对话 API 接口实现全异步操作，防止阻塞 by @liunux4odoo in #2256
  • 更新默认模型下载链接 by @YQisme in #2259
  • OCR 支持 GPU 加速（需要手动安装 rapidocr_paddle[gpu])；知识库支持 MHTML 和 Evernote 文件。 by @liunux4odoo in #2265
  • 使用Reranker模型对召回语句进行重排 by @hzg0601 in #2435
  • 知识库管理界面支持查看、编辑、删除向量库文档 by @liunux4odoo in #2471

问题修复

V0.2.8

重要提示

Langchain-Chatchat v0.2.8 版本中修改了configs中配置项，建议所有用户按照 Wiki 的开发部署中的相关描述重新完成项目中的配置文件生成。开发部署过程遇到问题请先到 Github Wiki / issues 中搜索。

此外，v0.2.8 版本中知识库相关信息的数据库表发生了变化，且默认 embedding 模型修改为bge-large-zh，如保持默认设置，请按需重建知识库。如果继续使用之前版本的配置，可使用  python init_database.py --create-tables 仅更新数据库表，不重建知识库。

本次更新中依赖 Python 包与其版本发生了大量更新，请使用pip install -r requirements.txt进行更新。

新增功能

问题修复

模型文件共享

可能有些同学没有对应的模型文件，共享一下我用到的几个模型，可持续更新，要是访问不了，可私信。

链接：https://pan.baidu.com/s/1phG6lDVoOzhyuROqyZInBA?pwd=dyqv 
提取码：dyqv

快速安装命令

假设已安装torch，以下命令是基于V0.2.10版本进行安装部署的。

#1、拉取代码
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
#2、到langchain源码根目录
cd Langchain-Chatchat
#3、安装依赖
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/


#4、自动生产配置文件，configs目录下，复制所有example配置文件，去掉example
python copy_config_example.py


#5、修改model_config.py文件
# 选用的 Embedding 名称，内置模型
#EMBEDDING_MODEL = "bge-large-zh-v1.5"
EMBEDDING_MODEL = "bge-large-zh"
# Embedding 模型运行设备。设为 "auto" 会自动检测(会有警告)，也可手动设定为 "cuda","mps","cpu","xpu" 其中之一。
EMBEDDING_DEVICE = "cpu"


#内置模型地址
#"bge-large-zh": "BAAI/bge-large-zh",
"bge-large-zh": "E:\\llm_models\\bge-large-zh",


#LLM_MODELS = ["chatglm3-6b", "zhipu-api", "openai-api"] 
#默认启动模型，根据实际情况修改
LLM_MODELS = ["chatglm2-6b-int4", "openai-api"] 
LLM_DEVICE = "cpu"


    "openai-api": {
        "model_name": "gpt-4",
        "api_base_url": "https://api.openai.com/v1",
        #修改open -api key，如果不启动open api就不用修改添加api_key
        "api_key": "sk-xxxxxxxxxx",
        "openai_proxy": "",
    },
    "llm_model": {
        "chatglm2-6b": "THUDM/chatglm2-6b",
        "chatglm2-6b-32k": "THUDM/chatglm2-6b-32k",
        "chatglm3-6b": "THUDM/chatglm3-6b",
        "chatglm3-6b-32k": "THUDM/chatglm3-6b-32k",
        #添加一条chatglm2-6b-int4，如果用其他版本的，对应修改
        "chatglm2-6b-int4": "E:\\llm_models\\chatglm2-6b-int4",
        
#6、重新初始化数据库
python init_database.py --recreate-vs
#注意，不要用python3 init_database.py --recreate-vs


#7、启动
python startup.py -a

FAQ集：

问题1： No moule named 'langchain'

\L029\Langchain-Chatchat>python startup.py -a
Traceback (most recent call last):
  File "D:\opt\L029\Langchain-Chatchat\startup.py", line 21, in <module>
    from configs import (
  File "D:\opt\L029\Langchain-Chatchat\configs\__init__.py", line 1, in <module>
    from .basic_config import *
  File "D:\opt\L029\Langchain-Chatchat\configs\basic_config.py", line 3, in <module>
    import langchain
ModuleNotFoundError: No module named 'langchain'

A1：

pip3 install langchain

问题2： No module named 'fastapi'/ 'fastapi'/'httpx'等

>python startup.py -a
C:\Users\xxxxx\.conda\envs\l3\lib\site-packages\langchain\chat_models\__init__.py:31: LangChainDeprecationWarning: Importing chat models from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:


`from langchain_community.chat_models import ChatOpenAI`.


To install langchain-community run `pip install -U langchain-community`.
  warnings.warn(
C:\Users\xxxxx\.conda\envs\l3\lib\site-packages\langchain\llms\__init__.py:548: LangChainDeprecationWarning: Importing LLMs from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:


`from langchain_community.llms import OpenAI`.


To install langchain-community run `pip install -U langchain-community`.
  warnings.warn(
C:\Users\xxxxx\.conda\envs\l3\lib\site-packages\langchain\llms\__init__.py:548: LangChainDeprecationWarning: Importing LLMs from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:


`from langchain_community.llms import AzureOpenAI`.


To install langchain-community run `pip install -U langchain-community`.
  warnings.warn(
C:\Users\xxxxx\.conda\envs\l3\lib\site-packages\langchain\llms\__init__.py:548: LangChainDeprecationWarning: Importing LLMs from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:


`from langchain_community.llms import Anthropic`.


To install langchain-community run `pip install -U langchain-community`.
  warnings.warn(
Traceback (most recent call last):
  File "D:\opt\L029\Langchain-Chatchat\startup.py", line 35, in <module>
    from server.utils import (fschat_controller_address, fschat_model_worker_address,
  File "D:\opt\L029\Langchain-Chatchat\server\utils.py", line 14, in <module>
    import httpx
ModuleNotFoundError: No module named 'httpx'

A2：

这种情况下，很可能安装了其他东西，重装一下requirments.txt的依赖

我的环境问题主要是重新安装了一下torch的GPU版本，然后就启动不了了，重新安装依赖后就正常

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

问题3：ERROR: Could not build wheels for jq, which is required to install pyproject.toml-based projects

Building wheels for collected packages: jq, pysrt, streamlit-modal, sgmllib3k
  Building wheel for jq (pyproject.toml) ... error
  error: subprocess-exited-with-error

  × Building wheel for jq (pyproject.toml) did not run successfully.
  │ exit code: 1
  ╰─> [5 lines of output]
      running bdist_wheel
      running build
      running build_ext
      Executing: ./configure CFLAGS=-fPIC --prefix=C:\Users\xxx\AppData\Local\Temp\pip-install-j7c7k4bx\jq_9d733042867f41deaf65d6ad1794be6c\_deps\build\onig-install-6.9.8
      error: [WinError 2] 系统找不到指定的文件。
      [end of output]

  note: This error originates from a subprocess, and is likely not a problem with pip.
  ERROR: Failed building wheel for jq
  Building wheel for pysrt (setup.py) ... done
  Created wheel for pysrt: filename=pysrt-1.1.2-py3-none-any.whl size=13464 sha256=fbff3ed0c568e650bfd383891cbf637cc8539440f77b7cae1dfc2d60213bdb72
  Stored in directory: c:\users\xxx\appdata\local\pip\cache\wheels\8c\b7\58\74aa4c25086b8543b17de4454dcac97a641f7750e8e654b2c9
  Building wheel for streamlit-modal (setup.py) ... done
  Created wheel for streamlit-modal: filename=streamlit_modal-0.1.0-py3-none-any.whl size=4220 sha256=21e9cf2461d531b5836abebd3de05a7794089b31631172c3df82b263c635a2e4
  Stored in directory: c:\users\xxx\appdata\local\pip\cache\wheels\2e\0c\e0\0654ef5121fbcf01422a557ef2ac4cd8aff9b94b24b93c4363
  Building wheel for sgmllib3k (setup.py) ... done
  Created wheel for sgmllib3k: filename=sgmllib3k-1.0.0-py3-none-any.whl size=6061 sha256=6d9c52f7965461b9271561e621e92e6154a0d617780a976b5f07bfc794085458
  Stored in directory: c:\users\xxx\appdata\local\pip\cache\wheels\50\20\4b\e95fc891917d652cb6ecbfea035cf3ce640259cf857aaa21a7
Successfully built pysrt streamlit-modal sgmllib3k
Failed to build jq
ERROR: Could not build wheels for jq, which is required to install pyproject.toml-based projects

A3

conda install jq

需要修改处理json的代码

待解决问题

待解决问题1：

2024-01-26 14:14:43,285 - utils.py[line:295] - INFO: RapidOCRLoader used for D:\opt\L029\Langchain-Chatchat\knowledge_base\samples\content\llm/img/大模型应用技术原理-幕布图片-580318-260070.jpg
None is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models'
If this is a private repository, make sure to pass a token having permission to this repo either by logging in with `huggingface-cli login` or by passing `token=<your_token>`None is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models'
If this is a private repository, make sure to pass a token having permission to this repo either by logging in with `huggingface-cli login` or by passing `token=<your_token>`None is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models'
If this is a private repository, make sure to pass a token having permission to this repo either by logging in with `huggingface-cli login` or by passing `token=<your_token>`

这个问题在初始化数据库发生的，待研究。

待解决问题2：

Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:34<00:00, 34.01s/it]
('samples', 'test_files/langchain-ChatGLM_closed.jsonl', '从文件 samples/test_files/langchain-ChatGLM_closed.jsonl 加载文档时出错：jq package not found, please install it with `pip install jq`')

虽然有方案说用conda install jq，事实上没有作用，从issue里看，需要修改源码。

Langchain本地知识库部署
maxcode
01-23 251
本方案通过搭建一个本地 AI 知识库，具备高效检索、智能问答的能力。✅本地部署，确保数据安全✅FAISS 高效检索，提高查询速度✅结合 LLM，提供精准回答✅可扩展性强，支持多种优化方向。
Langchain-Chatchat本地部署的解决方案
热门推荐
herosunly的博客
08-28 14万+
本文主要介绍了Langchain-Chatchat本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 启动xinference 4. 启动Langchain-Chatchat
Windows10 Langchain-Chatchat 本地部署+常见问题解决+避坑指南（从0开始部署，附带全部模型安装包）
good_good_study5的博客
03-25 7913
Windows10 Langchain-Chatchat 本地部署+常见问题解决+避坑指南,从0开始部署，附带全部模型安装包
什么是LangChain，LangChain的部署配置全流程是什么？
程序员鑫港的博客
03-03 905
LangChain 是一个为各种大型语言模型应用提供通用接口的框架，旨在简化应用程序的开发流程。通过 LangChain，开发者可以轻松构建如图所示的 RAG（Retrieval-Augmented Generation）应用。前排提示，文末有大模型AGI-优快云独家资料包哦！在这里插入图片描述LangChain 是一个专为构建大型语言模型（LLMs）驱动的应用程序而设计的框架，其核心目标是简化从开发到生产的整个应用程序生命周期。
小白的本地Langchain-Chatchat部署笔记
aqdfxx的博客
06-08 2886
这里的Ubuntu只是微软合作研究的Ubuntu-LTS 版，不是真正的Ubuntu,不过已经模拟的很成功了，绝大部分Ubuntu的功能和命令，在这个版本里都很好的运行，大大方便了我们在windows和 Linux两种环境里来回切换。学习完了，重新部署，上文的准备工作完成后，第一步就建立专用的虚拟环境，以后始终在这个虚拟环境里操作，包括安装项目的依赖，拉取模型，修改配置，初始化知识库，启动项目，直至部署成功。初始化过程，电脑风扇狂飙，CPU飙到100%，GPU飙到46%，内存飙到95%。
Langchain-Chatchat本地部署
我想问问天的专栏
03-10 4614
虽然使用Chatchat整个过程中的坑还是挺多的，但是至少跑起来了，而且在跑这个项目中遇到了很多自己没有接触过的知识。比如量化模型这个概念，是在优化返回速度的时候才知道可以把模型的精度改小，提高计算速度。现在本地还只运行成功了项目本身支持的几个模型，像界面中的知识库问答，文件对话，搜索引擎问答，自定义agent都还没跑成功，还有挺多东西要去研究和尝试的，还是挺有意思的。我想了想后面可能会针对其他的几个模式也写一些记录。
Langchain-Chatchat-win10本地安装部署成功笔记（CPU）
xqdd的专栏
11-06 1万+
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain。
本地部署 langchain-ChatGLM
kuokay的博客
06-05 4381
大型语言模型（LLM）正在成为一种变革性的技术，使开发者能够建立他们以前无法建立的应用程序。然而，孤立地使用这些LLM往往不足以创建一个真正强大的应用程序–当你能将它们与其他计算或知识来源相结合时，真正的力量才会出现。这个库的目的是协助开发这些类型的应用。langchain 使用 Transformer 模型，并在多个语言间建立链式结构实现翻译。比如，它可以通过英语→法语→西班牙语完成英语到西班牙语的翻译。langchain 只使用公开数据集进行训练，不需要额外的数据。WMT2014英法翻译数据集。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1496
AI菜鸟向前飞 — LLM简介
Langchain-Chatchat-win10本地安装部署笔记（CPU）
weixin_56450431的博客
01-24 3176
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain。开源网址：https://github.com/chatchat-space/Langchain-Chatchat。
基于Langchain-Chatchat的垂直领域特定场景定制化设计源码
10-02
该项目是Langchain-Chatchat开源项目的垂直领域特定场景定制化设计源码，旨在通过源码级别的定制化，满足特定行业或业务场景的特定需求。项目包含了丰富的文件类型，总计377个文件，其中涉及125个Python脚本，这些...
Langchain-Chatchat源码
10-18
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with ...
Langchain-Chatchat 部署本地知识库
Sumkor的博客
02-23 4488
使用 LangChain-Chatchat，基于在线 LLM 模型（智谱AI API）和离线 Embedding 模型（text2vec-base-chinese 或 bge-base-zh-v1.5）搭建本地知识库。
本地部署LangLangChain-Chatchat
最新发布
2301_76166709的博客
03-24 752
该模块主要定义了如下配置的设置配置管理：通过pydantic和实现配置文件的加载和管理。路径管理：定义了项目的根目录、数据目录、日志目录等路径。模型配置：定义了与模型相关的配置，包括默认模型、平台配置、工具配置等。工具配置：定义了与工具相关的配置，如本地知识库、搜索引擎、SQL 查询等。Prompt 模板：定义了不同场景下的 Prompt 模板，用于与 LLM 交互。
langchain本地部署
weixin_43105912的博客
12-27 1088
如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。模型：(https://github.com/chatchat-space/Langchain-Chatchat?官网：https://pytorch.org/get-started/previous-versions/##发现是transformers版本问题，transformers 4.35.2 降低4.34.0。#以上两个模型下载很慢，从网上找到模型库，clone下来即可。
Langchain-Chatchat本地部署记录，三分钟学会！
2401_84204413的博客
07-02 2385
虽然使用Chatchat整个过程中的坑还是挺多的，但是至少跑起来了，而且在跑这个项目中遇到了很多自己没有接触过的知识。比如量化模型这个概念，是在优化返回速度的时候才知道可以把模型的精度改小，提高计算速度。现在本地还只运行成功了项目本身支持的几个模型，像界面中的知识库问答，文件对话，搜索引擎问答，自定义agent都还没跑成功，还有挺多东西要去研究和尝试的，还是挺有意思的。我想了想后面可能会针对其他的几个模式也写一些记录。如何学习AI大模型？我在一线互联网企业工作十余年里，指导过不少同行后辈。
RAG：本地部署Langchain-Ollma(Windows)
MurphyStar的博客
07-01 2317
RAG，即“Retrieval Augmented Generation”（检索增强生成），是一种结合了检索和生成技术的自然语言处理模型。它主要用于文本生成任务，能够利用外部知识源来增强生成的文本，从而提高生成质量。相较于微调技术，RAG能够更加短平快的吸纳本地知识并整合大模型进行问答。因此本地部署了一个基于Langchain🦜🔗 + Ollma🐫的RAG应用，以检索本地知识库生成回答。
windows环境下的langchain-ChatGLM的本地部署
muwpq的博客
06-18 5343
在windows本地安装langchain-ChatGLM遇到了大量的坑，最终安装成功，网上没有一个完整的教程，希望这个分享能帮助到大家
langchain-chatchat0.2.0 本地部署
01-18
### 部署环境准备 为了成功部署 `Langchain-Chatchat` 0.2.0 版本，在本地环境中需安装必要的依赖项和工具[^1]。确保操作系统支持 Docker 和 Python 环境，因为这些对于后续的服务启动至关重要。 ```bash sudo apt-get update && sudo apt-get install -y docker.io python3-pip pip3 install --upgrade pip ``` ### 获取源码与配置调整 访问官方 GitHub 页面下载最新版的 `Langchain-Chatchat` 源代码[^3]： ```bash git clone https://github.com/chatchat-space/Langchain-Chatchat.git cd Langchain-Chatchat ``` 根据个人需求编辑配置文件 `config.yaml` 来适配不同的硬件条件和服务选项。此步骤涉及设置端口映射、内存分配等参数以优化性能表现。 ### 构建镜像并启动容器 利用提供的脚本来简化 Docker 镜像的创建过程以及服务实例的初始化工作流。 ```bash ./scripts/build.sh docker-compose up -d ``` 上述命令会自动拉取所需的依赖包，并按照预设指令集完成整个应用栈的组装；最终通过后台模式开启所有关联组件以便于持续运行。 ### 功能验证与测试接入 当一切顺利后，可以通过浏览器或其他 HTTP 客户端向指定地址发送请求来检验部署成果。通常情况下，默认监听路径为 `http://localhost:7860/` 或者依据实际设定而定[^2]。 ```python import requests response = requests.post( "http://localhost:7860/api/predict", json={"data": ["你好"]} ) print(response.json()) ``` 这段简单的 API 调用示例展示了如何与已上线的应用程序交互，从而实现对话式的交流体验。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农丁丁

你的认可是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值