在本地服务器部署chatglm（含在langchain中加载）

最新推荐文章于 2025-03-27 14:27:14 发布

e2_

最新推荐文章于 2025-03-27 14:27:14 发布

阅读量1.8k

点赞数 36

文章标签：服务器运维

本文链接：https://blog.youkuaiyun.com/jiall20/article/details/143166670

版权

参考视频：【ChatGLM+Langchain构建本地知识库，只需6G显存，支持实时上传文档-哔哩哔哩】 https://b23.tv/XdgztUv

UP:新建文件夹X

按照视频一步一步来的，但是up是在自己的电脑上部署的，和在服务器上的有细微差别，为了自己以后的学习，记录一下。

一、chatglm环境部署

1、下载项目（直接去github上下载）

链接：https://github.com/THUDM/ChatGLM-6B

并将文件夹解压、上传到服务器（eg:文件位置为/home/chatglm/ChatGLM-6B-main)

2、创建环境（服务器已有miniconda）

1、创建并激活环境

conda create --name chatglm python=3.10 #创建一个新的名为chatglm的环境

conda activate chatglm #进入chatglm环境

2、通过cd指令进入刚才下载的文件位置

eg:/home/chatglm(文件夹中应该有一个requirements.txt的文件)

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

e2_

关注关注

36
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

ChatGLM4部署教程（非常详细）零基础入门到精通，收藏这篇就够了

2401_85280106的博客

12-26

2727

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。

ChatGlm的部署和训练

a3337779的博客

05-15

1602

这里要注意选择你是什么系统，cuda是安装了什么版本（博主前面选择的是12.1），然后复制下面红框中的命令到终端就可以安装了。在终端输入命令，注意不要用python3，因为可能会使用到其它环境下的python或者在pycharm运行即可。2）部署环境,在终端下打开ChatGLM-6B安装的目录，然后运行下面命令，安装相关库。在终端输入python，然后依次输入下面代码，验证torch-GPU版本是不是成功。如果电脑配置了GPU，要注意需安装GPU版本的pytorch，具体可。2)如果你没有下载你要去下载。

参与评论您还未登录，请先登录后发表或查看评论

【玩转 GPU】怎样从零开始搭建本地知识库--chatGLM+langchain（尝鲜篇）

最新发布

Y525698136的博客

03-27

598

我们可以利用langchain+chatGLM在本地搭建自己的知识库，除了能搜索到文档这个功能，还能基于知识库内容和你进行对话问答～

ChatGLM 本地部署指南（问题解决）

Qinghub‘博客

05-10

1399

ChatGLM 本地部署指南，部署问题解决

ChatGLM 本地部署指南(Docker容器版)

Qinghub‘博客

05-21

2225

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 有更强大的基础模型，更完整的功能支持，更全面的开源序列

开源模型ChatGLM3本地安装部署

penngo的专栏

03-28

7192

开源模型ChatGLM3本地安装部署

chatGLM 本地部署（windows+linux）

ziqibit的博客

08-03

2124

chatGLM 安装部署

LangChain+ChatGLM大模型应用落地实践（一）

weixin_45067120的博客

07-31

4441

LangChain是一个近期非常活跃的开源代码库，目前也还在快速发展中，旨在让大家快速构建自己的LLM对话产品。当然，该框架也支持自定义接入其他机构、企业开源的LLMs的API和模型（比如：ChatGLM、文心一言等）。届时，LangChain的版本已经更新到0.0.123，目前保持着每天1发版的更新速度。LangChain主要包括以下几个主要的模块：Prompt Templates：支持自定义Prompt工程的快速实现以及和LLMs的对接；

一键安装langchain-ChatGLM

wuexp的专栏

05-15

6131

最近开源大模型层出不穷，非常火爆。好多小伙伴跃跃欲试，但是，大模型本地搭建，就算是只做推理也需要性能强悍的机器，更不要说微调和全参数训练，没有几十万的显卡投入是搞不定的。chatGLM推理可以在cpu上运行，但是不建议，速度很慢。6b模型建议12G显卡，最好16G以上（int4好像只要6G）。市面上，16G显存的显卡大概1w左右。24G大概1w5左右。如果不是专门做模型的人，不建议去购买，不过买来玩3A大作是挺好的，哈哈。算法小白建议租显卡，简单体验一下就行。

阿里云dsw服务器部署Langchain-Chatchat

weixin_45064121的博客

03-10

1912

报错的原因是无法在线下载模型，解决方法是把刚才下载的模型所在路径配置到配置文件中，从本地加载模型。该项目用的模型为huggingface的chatglm3-6b和bge-large-zh，huggingface地址国内在线无法访问，选择使用魔塔社区的模型库。cuda版本为11.8，pytorch匹配的cuda版本为12.1，可能是镜像有问题，解决方法是卸载pytorch。报错的原因是pytorch版本和cuda版本不匹配，查看pytorch版本和cuda版本。创建完成后，资源准备和启动需要等待一段时间。

LangChain-Chatchat (原 Langchain-ChatGLM)Windows环境部署（台式机但是笔记本显卡）

wuji0301cata的专栏

03-19

1437

请注意，LangChain-Chatchat 0.2.x 系列是针对 Langchain 0.0.x 系列版本的，如果你使用的是 Langchain 0.1.x 系列版本，需要降级您的Langchain版本。bge-large-zh-v1.5也是类似，官网写的ge-large-zh，但实际用的large-zh-v1.5，不过两个都下载也没关系，不太大。接着，创建一个虚拟环境，并在虚拟环境内安装项目的依赖，以下命令均在gitbash的窗口中运行，gitbash内置git和类似linux的命令。

ChatGLM 本地部署的详细教程

百态老人的博客

04-04

1万+

4. 下载预训练模型：ChatGLM使用预训练的GPT模型来生成回复。您可以从OpenAI（https://beta.openai.com/docs/models/gpt-3）下载预训练的GPT-3模型。如果您需要更详细的指导，请参考ChatGLM的文档（https://chatglm.readthedocs.io/en/latest/）或联系开发人员。2. 下载代码：从ChatGLM的GitHub仓库（https://github.com/cooelf/ChatGLM）下载代码。

零基础部署chatglm

CHNIM的博客

03-25

1万+

chatglm, 类chatgpt, 聊天机器人，文心一言

ChatGLM-6B部署到本地电脑

pengxiang1998的博客

09-17

1616

ChatGLM-6B是由清华大学开源的双语对话大模型，该模型有62亿参数，但在经过量化后模型体积大幅下降，因此不同于其他需要部署到服务器上的大模型，该模型可以部署到本地电脑，那么接下来我们来看看如何部署该模型。此时可以先将模型下载到本地，然后从本地加载，当然此时我们需要修改一下对应的地址。随便提一个问题，说起来确实一套一套的，好像谁不知道似的，说点干活嘛。之后，我们将人类语言转化为了机器语言，接下来就可以输入模型了。然后从这里手动下载模型参数文件，并将下载的文件替换到本地的。

ChatGLM 本地部署搭建及测试运行

热门推荐

码园平常事

04-02

9万+

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于General Language Model (GLM)架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

【ChatGLM】手把手教你云服务器部署ChatGLM聊天网站，不限次数调用。

小梁说代码的博客

07-25

6077

ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，由基于清华大学 KEG 实验室与智谱 AI于 2023 年联合训练，可以针对用户的问题和要求提供适当的答复和支持。它基于 General Language Model 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（具体的部署条件看下章）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。

Chat-GLM 详细部署（GPU显存＞=12GB）

Kaitiren的专栏

04-10

1万+

【代码】Chat-GLM 详细部署（GPU显存>=12GB）

ChatGLM-6B 部署与使用——打造你的专属GLM

Skrrapper的博客

09-23

1456

ChatGLM-6B 是清华大学与智谱 AI 开源的一款对话语言模型，基于 General Language Model (GLM) 架构，参数达到 62 亿，因其卓越的语言理解与生成能力，受到广泛关注。

本地部署清华大模型 ChatGLM3

王清欢的博客

11-03

2万+

ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。

langchain-chatglm知识库本地部署

02-07

### 本地部署 LangChain 和 ChatGLM 知识库为了实现基于 LangChain 和 ChatGLM 的私有化知识库部署，企业和机构可以获得一个高效、安全、可控的知识管理解决方案[^1]。 #### 准备工作环境确保安装了必要的依赖项和工具链。通常这包括 Python 及其开发包、Git 工具以及其他可能需要的软件组件。 #### 获取 ChatGLM-6B 模型要开始本地部署过程，需先获取 `chatglm-6b` 模型文件。通过 Git 命令可以从 GitHub 上克隆仓库来获得该模型： ```bash git clone https://huggingface.co/THUDM/chatglm-6b ``` 此操作会下载整个项目到当前目录下，并创建名为 `chatglm-6b` 的新文件夹用于存储模型及相关资源[^2]。 #### 安装所需库接下来，在环境中安装运行所需的 Python 库。推荐使用虚拟环境隔离不同项目的依赖关系。可以通过 pip 或 conda 来完成这些库的安装。对于本案例来说，至少应该包含 transformers, langchain 等核心库。 ```bash pip install transformers langchain torch ``` #### 配置应用服务配置应用程序的服务端部分，使其能够加载并利用上述模型处理请求。这部分涉及到编写 API 接口代码以及设置 Web 服务器等任务。LangChain 提供了一系列接口函数帮助开发者快速搭建起这样的系统框架。 #### 测试与优化最后一步是对已构建好的平台进行全面测试，验证各项功能是否正常运作；同时针对性能瓶颈做出相应调整以提高效率和服务质量。由于私有化部署允许高度自定义，因此可根据实际应用场景灵活修改参数设定或扩展额外特性[^3]。