【LangChain-Chatchat】本地部署模型及搭建个人企业内部知识库

💡 此学习教程结合本人安装经验主要提供给想学习和本地安装使用LangChain-Chatchat的同学们，该教程如有描述不当或者引用不正确的地方，欢迎指出！后续也会更新如何结合自己系统使用。原文地址：链接，如有疑问可添加微信沟通：Y-1994x

感谢作者开源的项目👍👍👍

Git地址： 传送门

Git地址： 传送门

介绍🌈🌈🌈

基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。

该项目支持开源 LLM 与 Embedding 模型，亦可实现全部使用开源 模型离线私有部署 。与此同时，也支持 OpenAI GPT API 的调用，当前最新版本为0.2.10。0.3x版本可以关注作者的项目地址。

• 支持加载本地模型及联网模型如智谱AI、阿里云通义千问、百川、讯飞星火、百度千帆、字节火山方舟、ChatGPT、Gimini和Azure OpenAI
• 支持知识库，支持Embedding 模型，详细支持模型介绍可查看支持列表
• 提供API接口，可快速搭建自己或者公司的知识库，并嵌入到内部系统中（参考教材待完善）

使用该项目也是因为需要本地运行模型且需要知识库功能，适合大家快手上手llm。该项目可配套chat-master使用，后端采用Java开发进行对接Langchain-Chatchat知识库接口，并且包含丰富的前端页面及管理后台配置，需要的可以移步查看。

原理介绍

📺 官方原理介绍视频

环境搭建🔫

💡 本环境按照LangChain-Chatchat版本要求安装，笔者本人电脑：windows i7 -14700 +32G内存 及 4070Super显卡 可用显存28G

环境要求

软件要求

• conda（非必需但是建议）conda提供环境隔离，基于不同的项目启用对应的软件环境
• cuda 12.1
• python 3.11.7
• pytorch 2.1.2
• torchvision 0.16.2

注意事项：

1、python和torch版本对照表，确定二者是否适配。官方版本对照表

2、确定CUDA版本对应的pytorch版本。pytorch官网

3、Conda是一个开源的软件包管理系统和环境管理系统。

‼️如有同学无法访问官方地址，也可直接查看下表：python和torch版本对照

torch	torchvision	Python
main / nightly	main / nightly	>=3.8, <=3.11
2.2	0.17	>=3.8, <=3.11
2.1	0.16	>=3.8, <=3.11
2.0	0.15	>=3.8, <=3.11

硬件要求

详细参考地址：硬件要求

如果想要顺利在GPU运行本地模型的 FP16 版本，你至少需要以下的硬件配置，来保证能够实现稳定连续对话

• ChatGLM3-6B & LLaMA-7B-Chat 等 7B模型

• * 最低显存要求: 14GB
  

  • 推荐显卡: RTX 4080

• Qwen-14B-Chat 等 14B模型

• * 最低显存要求: 30GB
  

  • 推荐显卡: V100

• Yi-34B-Chat 等 34B模型

• * 最低显存要求: 69GB
  

  • 推荐显卡: A100

• Qwen-72B-Chat 等 72B模型

• * 最低显存要求: 145GB