【大语言模型】本地化部署Chatglm和防踩坑攻略

最新推荐文章于 2025-09-30 09:54:40 发布
原创 最新推荐文章于 2025-09-30 09:54:40 发布 · 1.1k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #自然语言处理 #大模型 #LLMs #llama #知识图谱 #本地化部署

部署运行你感兴趣的模型镜像

最近想搞点什么东西练练手，传统crud又没有意义，于是就看到了给介绍AI的文章，然后就慢慢自己摸索，从0到1，独自部署应用。

项目简介

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

  1. 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。
  2. 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式 ，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
  3. 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K 和进一步强化了对于长文本理解能力的 ChatGLM3-6B-128K。以上所有权重对学术研究完全开放 ，在填写 问卷 进行登记后亦允许免费商业使用。

具体请查看官方GitHub github.com/THUDM/ChatG…

环境

python

项目要求python环境最低3.10，安装完成后执行 python -v查看python版本

conda

安装conda

这里我选的是miniconda，具体请自行选择docs.conda.io/en/latest/

安装完成使用conda -V 查看版本号即可表示安装成功

image.png

部署

先把项目拿下来

git clone https://github.com/THUDM/ChatGLM3

切换到根目录，使用pip安装依赖

cd ChatGLM3
pip install -r requirements.txt

在ChatGLM3\basic_demo目录下执行命令

streamlit run web_demo_streamlit.py

第一次执行需要下载很大的模型文件，大概11g左右

dcf3eb17fca9d2eeb56647e31ef336a.png

特别注意，此处需要使用魔法（非国内节点），否则会报错。

image.png

启动成功后，如果你的控制台出现以下一句话就说明你使用的是cpu在运算

WARNING:root:Some parameters are on the meta device device because they were offloaded to the cpu and disk.

image.png

因为CPU跑太慢了，我们必须要使用GPU进行运算。 在web_demo_streamlit.py文件里面有这么一段代码

def get_model():
    tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)
    model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").eval()
    return tokenizer, model

我们把他改造一下

def get_model():
    tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)
    model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True,device_map="cuda").quantize(4).cuda()
    return tokenizer, model

然后再启动我们的项目，心想美滋滋啊，终于能跑了。

但是事情没有想象中那么简单启动后还是会出现WARNING:root:Some parameters are on the meta device device because they were offloaded to the cpu and disk.

pytorch

查阅资料后发现，是因为我们的pytorch没有安装正确的版本

使用python交互模式输入

import torch as t    
print(t.cuda.is_available())  
print(t.__version__)

可以看到输出是False和xxx+cpu这样的数据

既然是错误的版本，那重新安装就可以了吧。 我们去到PyTorch官网根据我们的机器进行版本安装 pytorch.org/get-started…

image.png

cuda版本

控制台输入

nvidia-smi

查看GPU信息

image.png

右边的cuda是最高支持的版本，左边是GPU驱动信息

然后根据你的驱动版本在cuda官网查看对应的cuda版本 docs.nvidia.com/cuda/cuda-t…

image.png

找到对应的cuda版本之后我们到

developer.nvidia.com/cuda-toolki…

下载你的GPU对应的版本号。

安装cuda的时候注意，这个界面只是把安装程序解压到此目录，真正的安装在后面。

image.png

这个目录cuda安装完成后会自动删除，但是还是不建议放在c盘。 等待一段时间后会出现以下窗口。

69ff129d91bb3855091a5c4ccce45a1.png

此处才是真正的cuda安装路径，还是不要放在c盘，安装过程屏幕可能会闪烁，这属于正常现象。

安装完成后控制台使用 nvcc -V查看版本

image.png

ok，cuda和pytorch都安装完成了，我们测试一下能不能使用到cuda

import torch
print(torch.cuda.is_available())

image.png

import torch
print(torch.__version__)

image.png

注意，笔者使用conda安装pytorch后运行出现以下情况

4c7ef9c29be6b33cb068e5daf7590c6.png

结果一看还是cpu版本的pytorch，不知道是什么情况，欢迎评论区指出。

再来启动一次AI，等待一段时间后会自动跳转到以下界面

image.png

此图为官网图，我的忘记截图了

我本来以为我的显卡能跑起来的，但是试了之后发现，三分钟跑一个字 image.png 右边GPU使用和显存直接爆了，风扇转得飞起，下次还是去租一个云服务器跑吧。

总结

虽然跑起来很吃力，但是总算是踩了几个坑跑完了了，只是有点慢（

朋友们安装pytorch的时候要注意版本以及cuda的版本对应关系，坑都是这两个比较深。

程序员为什么要学大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

Llama-Turbo
关注
python&anconda系列（亲测有效）：ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
weixin_54626591的博客
12-27 2903
ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
别再踩这些坑！国产大模型部署十大常见错误（经验血书）
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-02 1578
能部署模型的人不一定写得出 LoRA，但能“复现 + 修复 + 总结”这些坑的人，一定是能落地国产大模型系统的人。
开源模型ChatGLM3本地安装部署
penngo的专栏
03-28 7406
开源模型ChatGLM3本地安装部署
本地化部署Chatglm和防踩坑攻略
2401_84495872的博客
07-27 6072
ChatGLM3是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，*ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能ChatGLM3-6B 采用了全新设计的 [Prompt 格式] ，除正常的多轮对话外。
ChatGLM部署教程
weixin_35879493的博客
09-29 873
本文详细解析了ChatGLM模型的架构与部署流程，涵盖环境配置、量化优化、服务化封装及监控体系构建，重点介绍显存优化、FastAPI接口开发与高并发场景下的性能提升策略。
ChatGLM 本地部署指南（问题解决）
Qinghub‘博客
05-10 1593
ChatGLM 本地部署指南，部署问题解决
ChatGLM 本地部署指南(Docker容器版)
Qinghub‘博客
05-21 2438
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 有更强大的基础模型，更完整的功能支持，更全面的开源序列
本地化部署大语言模型 ChatGLM
热门推荐
Maddie_Mo的博客
04-19 1万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。暂时先这样吧，如果有时间的话就会更新模型微调文章以及抽时间更新GLM130B的部署，实在看不明白就留言，看到我会回复的。路漫漫其修远兮，与君共勉。
【大模型部署】mac m1本地部署 ChatGLM3-6B 超详细教程
weixin_41645791的博客
05-31 1613
在 mac m1 16G 上完全离线 的本地模型目录上，跑通官方 ChatGLM3-6B
Langchain-Chatchat + chatglm2-6b-32k-int4 本地部署：属于自己的大模型
qq_52835677的博客
11-28 838
本教程基于近50次报错，历时3天圆满部署。
Ubuntu部署ChatGLM2-6B踩坑记录
weixin_59961223的博客
07-05 4088
ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B拥有更强大的性能、更长的上下文、更高的推理和更开放的协议。
【玩转 GPU】本地部署大模型--chatGLM（尝鲜篇）
AAI666666的博客
05-17 1667
本文主要介绍ChatGLM-6B 的本地部署，提供更保姆级别的教程，让完全不懂技术的同学，也能在本地部署大模型～在19年曾经尝试过使用，当时就被大模型效果惊艳到啊，只是没想到短短3年多，大模型效果提升这么快。学不完，根本学不完…大模型实在太火了，终于还是忍不住对它下手。今天介绍如何在本地部署大模型尝鲜，后面有时间会持续出大模型技术原理篇。大语言模型（Large Language Model），是一种人工智能模型，旨在理解和生成人类语言。
本地部署：如何本地化部署开源大模型ChatGLM3-6B
qq_33240556的博客
03-14 1691
ChatGLM3-6B有3个参数可以设置。max_length：模型的总token限制，包括输入和输出的tokens。temperature：模型的温度。温度只是调整单词的概率分布。它最终的宏观效果是，在较低的温度下，我们的模型更具确定性，而在较高的温度下，则不那么确定。数字越小，给出的答案越精确。top_p：模型采样策略参数。每一步只从累积概率超过某个阈值 p 的最小单词集合中进行随机采样，而不考虑其他低概率的词。只关注概率分布的核心部分，忽略了尾部。
ChatGLM 本地部署的详细教程
百态老人的博客
04-04 1万+
4. 下载预训练模型：ChatGLM使用预训练的GPT模型来生成回复。您可以从OpenAI（https://beta.openai.com/docs/models/gpt-3）下载预训练的GPT-3模型。如果您需要更详细的指导，请参考ChatGLM的文档（https://chatglm.readthedocs.io/en/latest/）或联系开发人员。2. 下载代码：从ChatGLM的GitHub仓库（https://github.com/cooelf/ChatGLM）下载代码。
ChatGLM-6B部署到本地电脑
pengxiang1998的博客
09-17 1820
ChatGLM-6B是由清华大学开源的双语对话大模型，该模型有62亿参数，但在经过量化后模型体积大幅下降，因此不同于其他需要部署到服务器上的大模型，该模型可以部署到本地电脑，那么接下来我们来看看如何部署该模型。此时可以先将模型下载到本地，然后从本地加载，当然此时我们需要修改一下对应的地址。随便提一个问题，说起来确实一套一套的，好像谁不知道似的，说点干活嘛。之后，我们将人类语言转化为了机器语言，接下来就可以输入模型了。然后从这里手动下载模型参数文件，并将下载的文件替换到本地的。
大语言模型本地化部署思路
Scalzdp的专栏
04-09 1119
这种模式如果做好了，最终效果最好，但是其代价也是最高的，毕竟一般的大模型的参数动辄都是以“十亿”为计量单位，如果需要调参，需要大量的原始数据且要对数据进行标准化，因为数据质量直接影响大模型的最终效果。并且在训练的时候需要的硬件成本也是非常的高。训练旁路网络的意义：因为预训练的大语言模型本身数据量较大，如果将本地一些知识放入大语言模型神经网络中，其实对大语言模型影响较小（毕竟数据量较少），所以我们考虑训练一个旁路网络，这样权重就在新的旁路网络中实现，可以实现堪比全量调参的效果。
ChatGLM本地部署
最新发布
weixin_36213081的博客
09-30 943
本文系统介绍了ChatGLM大语言模型的本地部署全流程，涵盖理论架构、环境搭建、量化优化、服务封装及安全合规等关键技术环节，适用于对数据隐私敏感的企业应用场景。
chatGLM 本地部署（windows+linux）
ziqibit的博客
08-03 2210
chatGLM 安装部署
Window CPU环境本地部署ChatGLM3-6B模型
andy20160103的博客
05-03 944
在window CPU环境部署chatGLM3-6B大模型
本地部署ChatGLM2-6B模型详解与实践
资源摘要信息:"在本文中，我们将探讨如何在本地部署大型语言模型ChatGLM2-6B，并针对特定模型变体chatglm2-6b-int4进行详细说明。' 一、标题解析与知识点 标题“本地部署ChatGLM2-6B，chatglm2-6b-int4”表明本文的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值