从零开始部署本地大模型（Langchain-chatchat）

原创

已于 2024-03-21 17:07:24 修改 · 2k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #大模型 #AI #人工智能

于 2024-03-21 17:05:08 首次发布

本文详细介绍了如何在Anaconda环境中安装CUDA、创建虚拟环境，以及如何下载和配置PyTorch、模型（如Huggingface模型）。步骤包括拉取项目、安装依赖、修改配置文件，最后初始化数据库并运行项目。

文章目录

配置环境
模型下载
配置修改
知识库初始化
运行项目

配置环境

Anaconda安装

下载地址：Free Download | Anaconda

cuda安装

通过命令行查看GPU信息：

nvidia-smi

可以看到，我的计算机支持的cuda最高版本是12.4

因此就去下载对应版本的cuda：CUDA Toolkit Archive | NVIDIA Developer

配置虚拟环境

这里使用Anaconda安装虚拟环境，python的版本是3.11

conda create -n chat python=3.11

拉取项目

然后，使用git拉取项目：

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

接下来安装全部依赖：

# 进入目录
cd Langchain-Chatchat
# 安装全部依赖
pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install <

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小璐乱撞xllz

关注关注

15
点赞
踩
31

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Langchain-Chatchat本地部署

我想问问天的专栏

03-10

5064

虽然使用Chatchat整个过程中的坑还是挺多的，但是至少跑起来了，而且在跑这个项目中遇到了很多自己没有接触过的知识。比如量化模型这个概念，是在优化返回速度的时候才知道可以把模型的精度改小，提高计算速度。现在本地还只运行成功了项目本身支持的几个模型，像界面中的知识库问答，文件对话，搜索引擎问答，自定义agent都还没跑成功，还有挺多东西要去研究和尝试的，还是挺有意思的。我想了想后面可能会针对其他的几个模式也写一些记录。

本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama

deephub

06-26

1万+

通过LangChain和Streamlit我们可以方便的整合任何的LLM模型，并且通过GGML我们可以将大模型运行在消费级的硬件中，这对我们个人研究来说使非常有帮助的。作者：Afaque Umer。

1 条评论您还未登录，请先登录后发表或查看评论

本地部署大模型的简单方式，大模型入门到精通，收藏这篇就足够了！

最新发布

2401_82469710的博客

10-17

783

LM Studio 是一个本地化大语言模型（LLM）运行平台，主打易用性和苹果 M 芯片优化，适合非技术用户和开发者快速体验本地 AI 模型。

AI菜鸟向前飞 — LLM简介

2401_82469710的博客

05-11

2233

AI菜鸟向前飞 — LLM简介

本地部署LangLangChain-Chatchat

2301_76166709的博客

03-24

1386

该模块主要定义了如下配置的设置配置管理：通过pydantic和实现配置文件的加载和管理。路径管理：定义了项目的根目录、数据目录、日志目录等路径。模型配置：定义了与模型相关的配置，包括默认模型、平台配置、工具配置等。工具配置：定义了与工具相关的配置，如本地知识库、搜索引擎、SQL 查询等。Prompt 模板：定义了不同场景下的 Prompt 模板，用于与 LLM 交互。

Windows10 Langchain-Chatchat 本地部署+常见问题解决+避坑指南（从0开始部署，附带全部模型安装包）

good_good_study5的博客

03-25

9026

Windows10 Langchain-Chatchat 本地部署+常见问题解决+避坑指南,从0开始部署，附带全部模型安装包

从头开始搭建 Langchain-Chatchat 0.3x

flyfish_breaking的博客

07-02

4154

langchain-chatchat 0.3x 从零开始本地部署搭建，rag本地知识库学习

基于Langchain-chatchat的向量库构建及检索（附代码）

03-20

1418

迁移Langchain-chatchat中的向量库，结合下载下载向量模型，实现向量库检索。无需GPU（有也可以）

【AutoDL + Langchain-Chatchat】从零构建高效本地 RAG 知识库问答系统：实战保姆级教程（含避坑指南）

拾光夕拾的博客

01-20

1598

本文详细阐述如何在AutoDL云平台，如何利用Langchain-Chatchat构建高效的本地RAG知识库问答系统，并深入解析RAG架构。从环境搭建到实战部署，从问题排查到性能优化，提供一份全面实用的指南，助力开发者快速构建智能问答应用。

批量使用API调用langchain-chatchat知识库能力

03-27

1203

【代码】批量使用API调用langchain-chatchat知识库能力。

langchain本地部署

weixin_43105912的博客

12-27

1238

如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。模型：(https://github.com/chatchat-space/Langchain-Chatchat?官网：https://pytorch.org/get-started/previous-versions/##发现是transformers版本问题，transformers 4.35.2 降低4.34.0。#以上两个模型下载很慢，从网上找到模型库，clone下来即可。

Langchain-Chatchat本地部署记录，三分钟学会！（非常详细）从零基础到精通，收藏这篇就够了！

Python_0011的博客

07-04

1078

还不会部署本地AI大模型？LangChat带你快速接入并部署本地大模型

TyCoding的博客

08-14

694

LangChat是Java生态下企业级AIGC项目解决方案，在RBAC权限体系的基础上，集成AIGC大模型功能，帮助企业快速定制知识库、企业机器人。还不会部署本地AI大模型？使用LangChat带你快速部署并接入本地Ollama AI大模型。more。

RAG：本地部署Langchain-Ollma(Windows)

MurphyStar的博客

07-01

3093

RAG，即“Retrieval Augmented Generation”（检索增强生成），是一种结合了检索和生成技术的自然语言处理模型。它主要用于文本生成任务，能够利用外部知识源来增强生成的文本，从而提高生成质量。相较于微调技术，RAG能够更加短平快的吸纳本地知识并整合大模型进行问答。因此本地部署了一个基于Langchain🦜🔗 + Ollma🐫的RAG应用，以检索本地知识库生成回答。

windows环境下的langchain-ChatGLM的本地部署

muwpq的博客

06-18

5514

在windows本地安装langchain-ChatGLM遇到了大量的坑，最终安装成功，网上没有一个完整的教程，希望这个分享能帮助到大家

Langchain本地知识库部署

maxcode

01-23

512

本方案通过搭建一个本地 AI 知识库，具备高效检索、智能问答的能力。✅本地部署，确保数据安全✅FAISS 高效检索，提高查询速度✅结合 LLM，提供精准回答✅可扩展性强，支持多种优化方向。

本地部署 langchain-ChatGLM

热门推荐

engchina的专栏

05-06

1万+

本地部署 langchain-ChatGLM

本地部署langchain-Chatchat+Qwen-1_8B-Chat

weixin_64515303的博客

03-07

146

1、首先拿到项目，先创建虚拟环境，安装所需要的依赖包这里注意！pytorch的版本！！2、根据自己本地的地址，修改模型的地址如果顺利的话，应该此时项目就可以跑起来了！！！此时的页面是langchain自带的框架。注意：这里可能会遇到依赖包版本不兼容的问题，可以使用pip check命令查看哪些包版本有冲突，根据要求进行调整即可。3、第三步运行gradio_ui.py文件，这是自己本地搭建的一个前端页面。这里我遇到了一个问题起初以为是代码逻辑问题，多次修改代码之后，gradio页面一直加载。

如何在本地环境部署 langchain-chatchat

02-25

### 本地环境安装和配置 Langchain-Chatchat #### 创建并激活 Conda 虚拟环境为了确保项目的独立性和稳定性，建议创建一个新的 Conda 环境来管理所需的软件包。通过命令 `conda create --name chatchat python=3.9` 可以建立名为 "chatchat" 的 Python 3.9 版本的新环境[^2]。接着，在终端输入 `conda activate ~/.anaconda3/envs/chatchat` 来激活此特定的 Anaconda 环境[^3]。 #### 下载 Langchain-Chatchat 和 Xinference 访问 GitHub 上官方仓库页面下载最新版本的 Langchain-Chatchat 应用程序，地址为 https://github.com/chatchat-space/Langchain-Chatchat 。这一步骤可以通过克隆 Git 仓库完成，即运行如下指令： ```bash git clone https://github.com/chatchat-space/Langchain-Chatchat.git ``` 对于 Xinference 组件，则按照项目文档中的指导进行获取与设置[^1]。 #### 安装依赖项进入已下载的应用目录后，利用 pip 工具依据 requirements.txt 文件自动解析并安装所有必要的Python库文件。通常情况下只需执行以下命令即可实现自动化安装过程： ```bash pip install -r requirements.txt ``` 如果遇到权限问题或其他错误提示，请尝试加上 sudo 或者管理员身份重新操作上述命令；另外也可以考虑使用 venv 模块构建隔离式的 Python 运行空间以便更好地控制第三方模块版本兼容性等问题。 #### 加载模型和服务启动当所有的准备工作完成后，可以依次调用两个脚本来准备所需的大规模预训练语言模型及其嵌入表示形式： - 执行 Shell Script `./xinference_model.sh` 用于加载基础的语言理解能力； - 接着再运行另一个脚本 `./xinference_model_emb.sh` ，它负责初始化向量检索服务端口等额外功能支持。最后，只需要简单地键入 `chatchat start -a` 即可全面开启整个聊天系统的运作状态，并允许外部客户端连接请求交互对话接口。