一行命令实现docker一键部署最新模型无限制模型接近GPT4能力的微调ChatGLM3第三代大语言模型单机部署、量化部署、Mac 部署、单GPU部署及多GPU部署指南，附详细代码和步骤

最新推荐文章于 2025-02-18 23:15:36 发布
最新推荐文章于 2025-02-18 23:15:36 发布
阅读量981 收藏 4
点赞数 10
分类专栏： 机器人智慧之心 文章标签： docker 语言模型 GPT4 chatglm3 部署 对话 API
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014374009/article/details/135959112
版权
本文提供了一行命令实现ChatGLM3模型的docker一键部署，涵盖单机、量化、Mac、单GPU及多GPU环境。ChatGLM3是智谱AI与清华大学联合发布的对话预训练模型，性能接近GPT4，支持对话、工具调用、代码执行等复杂场景。内容包括模型介绍、性能提升、部署步骤及多环境部署方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一行命令实现docker一键部署最新模型无限制模型接近GPT4能力的微调ChatGLM3第三代大语言模型单机部署、量化部署、Mac 部署、单GPU部署及多GPU部署指南，包含代码调用对话、API调用、网页对话、命令行对话、工具调用、代码解释器等模式，附详细代码和步骤。docker高度封装环境都配置好了，在不同的硬件环境中，只需要修改参数即可，例如多个GPU环境中，只需要修改GPU数量即可。也解决了大模型下载慢和无法下载的问题，提供了多种解决方案。如果想用其他的模型，只需要简单修改一下模型名称即可自动进行下载。

在这里插入图片描述

ChatGLM3是智谱AI与清华大学KEG实验室联合发布的新一代对话预训练模型。在第二代ChatGLM的基础之上又一次重大突破。

更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。
更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code I

了解本专栏 订阅专栏 解锁全文 超级会员免费看
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
05-06 2095
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署
q742971636的博客
07-25 2708
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。
Docker部署ChatGLM3、One API、FastGPT
北海刘德华的博客
03-12 2703
Windows PowerShell，我是用 Git Bash Here, 两个都是一样的。创建两个文件 docker-compose.yml 和 config.json。运行成功了，可以使用 docker ps 命令检查以下所有容器是否正常启动。在你自己喜欢的磁盘上创建fastgpt目录，我是 D:\fastgpt。(其中挂载路径 D:\one-api 可以选择你自己喜欢的目录)改成你的IP，和刚才在 One API 中复制的令牌。测试一下刚刚创建的渠道。
55款国内AI大模型，免费无限制
m0_59235699的博客
08-19 2330
在AI技术的飞速发展中，一个显著的矛盾逐渐显现：一方面，通用大模型因其强大的能力和广泛的适用性而日益普及；另一方面，用户对于更加个性化、精细化服务的需求也在不断增长。这种矛盾激发了市场对定制化AI工具的追求，同时也推动了AI技术的不断创新。当前市场上，因其卓越的性能和用户体验而脱颖而出。以其生产力工具的定位，特别适合职场人士使用，支持长达20万字的上下文理解，擅长总结并提供多样化的DIY玩法。Turbo以其快速和高效的性能，为用户提供了显著优于前代的体验。
本地使用docker部署DeepSeek大模型
weixin_42032770的博客
02-18 3081
通过本地部署大模型构建自己的知识库以聊天助理的方式呈现知识交互，确实蛮令人震撼的。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1496
AI菜鸟向前飞 — LLM简介
ChatGLM3-6b部署、量化以及遇到的问题解决方案
后知后觉方知勤能补拙的博客
11-26 1万+
主要介绍了使用wsl部署、运行chatglm3-6b的具体操作，以及遇到的一些问题和解决方案。
docker部署m3e-large-api环境
盛世芳华
04-22 4583
因为容器里的执行脚本中，判断了key是不是等于 “sk-aaabbbcccdddeeefffggghhhiiijjjkkk”，key不一致会出现401错误。用CPU就挺快的，所以我没把显卡映射到docker容器中，但从容器的代码中能看到，只要把显卡映射到容器就能自动判断是否有显卡。注意：密钥一定要配置成“sk-aaabbbcccdddeeefffggghhhiiijjjkkk”也可以在docker-compose.yml的environment中自定义key的值。然后把m3e配置到one-api。
整理了上百个开源中文大语言模型，涵盖模型、应用、数据集、微调、部署、评测_基于大语言模型的网络自动配置平台的设计与开发
2401_84208172的博客
07-24 2602
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！
大语言模型应用指南：神经网络的三要素——网络结构、激活函数和损失函数
AI天才研究院
07-13 1009
大规模预训练：利用海量的文本数据进行无监督学习，让模型学习语言的统计规律。自回归语言建模：模型通过预测下一个单词来学习语言结构。注意力机制：使用自注意力机制来捕捉序列中的长距离依赖关系。迁移学习：预训练的模型可以通过微调适应各种下游任务。模型规模和性能的显著提升：从BERT到GPT-3，模型参数从数亿增长到数千亿。预训练方法的创新：从单向语言模型到双向模型，再到生成式预训练。迁移学习能力的增强：预训练模型可以快速适应各种下游任务。
M3E&ChatGLM向量化构建本地知识库
weixin_44455388的博客
09-07 7450
向量数据库是一种特殊类型的数据库，它用于存储和处理向量数据。向量数据库的主要特点是能够高效地执行向量空间中的搜索和比较操作，比如最近邻搜索（nearest neighbor search）。向量数据库在许多领域都有应用，包括机器学习、人工智能、计算机视觉和自然语言处理等。M3E Models ：Moka（北京希瑞亚斯科技）开源的系列文本嵌入模型。
【大模型本地知识库搭建】ChatGLM3，M3E，FastGPT，One-API
Bowen_Ding_的博客
04-12 7236
本文技术路线为：利用ChatGLM3-6b作为基座大模型，M3E作为向量模型，基于FastGPT建立用户知识库，One-API做统一API接口管理。
【大语言模型】Docker部署清华大学ChatGLM3教程
Father_of_Python的博客
11-14 3608
Docker部署清华大学ChatGLM3教程
【chatgpt】使用docker运行chatglm3，原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务，可以本地运行啦
freewebsys的专栏
10-29 7012
chatglm3，原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务，可以本地运行。这样就可以开发更丰富的应用了。
硬核！10分钟教你搭建一个本地版GPT4.0！
热门推荐
qq_23966855的博客
08-08 6万+
通过docker把这个项目打包到本地电脑上，直接就能使用上原版GPT4.0。不过这还只是项目的初级版本，等待后续慢慢升级之后，使用体验应该会更佳！这个操作主要使用的是GitHub上的一个开源项目freegpt。这个就是为什么我们可以不用账号就能直接免费使用GPT4的原因。尤其是GPT3.5 16K的模型，拥有更长的上下文记忆长度。这个项目集成了很多官方放出来的GPT4免费资源和各种大模型。一是GPT4模型有时候使用会不太稳定（毕竟是免费的）；（如果这个页面出现其他被勾选的选项，请取消勾选）
【转载】用通俗易懂的方式讲解大模型：使用 Docker 部署大模型的训练环境
Working harder, getting stronger!
03-15 779
Docker 安装与主机安装的方式相比，我们少安装了 CUDA 和 PyTorch 程序，多安装了和下载 Docker 镜像，但整体花费的时间其实是减少了的（因为 CUDA 和 PyToch 安装时间比较长）。Docker 安装最大的好处就是可以随时切换不同的环境，而且不会影响到主机的环境。
使用Docker本地部署chatgpt
weixin_47190898的博客
06-06 3465
使用Docker本地部署chatgpt，实现本地访问gpt
Windows环境下清华ChatGLM3+docker-desktop镜像制作和配置GPU环境docker容器本地运行
weixin_46545036的博客
02-03 1275
如下，设置python的版本，设置工作目录，将5000端口暴露，安装环境。博主在此是将Chatglm3的主要文件单独拿出来，请忽略static文件夹、templates文件夹和下面的py文件，这是博主用flask写的网页应用，一般只需要static上面的文件夹即可，使用web_demo.py文件来使用Chatglm3大语言模型。首先保证你的docker-desktop版本为最新版本，2024年以后得版本都可。拉取镜像，配置环境在此文就不多赘述。这里引用这位大佬的文章，讲的很详细。
52.2k star! 自己部署gpt4free, 免费使用各种GPT
AI_SHELL的博客
02-29 8280
GPT4Free是一个由开发者Xtekky在GitHub上发布的开源项目，它可以免费地使用GPT-3.5、GPT-4、llama、gemini-pro、bard、claude等多种大模型。截止到当前(2024.1.30)已经有52.2k star，可见其受欢迎程度。
本地部署大模型最优方案
最新发布
03-09
<think>嗯，用户想了解本地部署大模型的最优方案。首先，我需要明确“本地部署”和“大模型”这两个关键词。本地部署通常指的是在用户自己的服务器或计算资源上运行模型，而不是依赖云服务。大模型则是指像GPT-3、LLAMA、BLOOM这样的参数量庞大的模型，可能需要较高的计算资源。 接下来，我需要考虑用户可能的背景。用户可能是企业技术人员，或者有足够资源的研究者，想要在自己的环境中部署大模型。他们的需求可能包括性能优化、成本控制、安全性以及维护的便捷性。同时，用户可能希望了解硬件要求、软件框架选择、模型优化方法以及实际应用中的注意事项。 首先，硬件方面，大模型需要强大的计算能力，特别是GPU。常用的选择是NVIDIA的A100、V100或者H100，这些卡有足够的显存和处理能力。显存大小直接关系到能部署的模型规模，比如7B参数的模型可能需要至少16GB显存，而更大的模型可能需要多卡并行。内存和存储也不能忽视，大模型加载时需要足够的RAM，存储方面建议使用高速SSD。 然后是软件框架，Hugging Face的Transformers库是常用的工具，它支持多种模型，并且可以方便地进行推理和微调。PyTorch和TensorFlow也是基础框架，但PyTorch在社区支持上可能更活跃。加速推理方面，vLLM和DeepSpeed可以提高推理速度，特别是DeepSpeed的ZeRO优化技术能有效减少显存占用。量化工具如bitsandbytes可以帮助将模型参数从FP32降到INT8，减少显存需求，但可能会影响精度。 模型选择方面，用户需要考虑模型大小与应用场景的平衡。比如LLAMA 2有7B到70B的不同版本，70B效果更好但需要更多资源。Falcon和BLOOM也是可选模型。如果显存不足，可以考虑小量化版本，比如LLAMA-2-7B-chat-4bit。另外，微调可能需要额外的资源，但如果只是推理，可以跳过这一步。 部署优化方面，并行计算和多GPU分配是关键，使用NCCL或PyTorch的分布式模块。API服务化可以用FastAPI或Flask封装REST接口，方便其他系统调用。持续维护方面，监控资源使用情况，定期更新模型和依赖库，保持安全性。 实际案例部分，假设用户有单台服务器，配备4张A100 80GB显卡，可以选择LLAMA-2-70B，用DeepSpeed和4bit量化部署，同时用vLLM提高并发。如果资源有限，比如只有一张3090 24GB，可能只能运行LLAMA-2-7B的4bit版本，或者更小的模型如Alpaca。 还需要考虑常见问题，比如显存不足时的量化或模型切分，延迟问题可能需要优化框架或增加显卡数量。数据隐私方面，本地部署本身就比云服务安全，但内部仍需加密和访问控制。 最后，总结最优方案需要平衡性能、成本和需求，根据实际情况调整硬件和模型选择。可能用户没有提到的深层需求包括扩展性、后续维护成本以及是否需要进行自定义微调，这些都需要在建议中提及。</think>本地部署大型语言模型（LLM）需综合考虑硬件资源、模型优化、运维成本等多个维度。以下为分步详解方案： --- ### 一、硬件选型策略 #### 1. **GPU核心配置** - **基础要求**：单卡显存 ≥ 24GB（如NVIDIA RTX 3090/4090） - **最优选择**：NVIDIA A100/H100（显存80GB，支持FP8/INT8加速） - **多卡并行**：使用NCCL通信库实现多GPU分布式推理，例如：$$ \text{吞吐量} \propto \frac{\text{GPU数量} \times \text{单卡算力}}{\text{通信开销}} $$ #### 2. **内存与存储** - **内存**：建议 ≥ 64GB DDR4（加载70B参数模型需约140GB内存） - **存储**：NVMe SSD（模型文件读取速度 > 3GB/s） --- ### 二、软件栈配置 #### 1. **推理框架选择** | 框架 | 优势 | 适用场景 | |------------|-----------------------------|---------------------| | **vLLM** | 高吞吐量，PagedAttention技术 | 多用户并发请求 | | **TGI** | Hugging Face官方优化 | 生产级API服务 | | **DeepSpeed** | 支持ZeRO-Infinity卸载 | 超大模型低显存部署 | #### 2. **量化压缩** - **4-bit量化**：使用`bitsandbytes`库，显存降低至1/4（精度损失约2-3%） - **示例代码**： ```python from transformers import AutoModelForCausalLM model = AutoModelForCASCADE.from_pretrained("Llama-2-7b", load_in_4bit=True) ``` --- ### 三、模型选择与优化 #### 1. **模型选型建议** | 模型类型 | 参数量 | 显存需求（FP16） | 推荐硬件 | |--------------|---------|-----------------|------------------| | Llama-2-7B | 7B | 14GB | 单卡RTX 3090 | | Falcon-40B | 40B | 80GB | 2×A100（NVLink） | | Llama-2-70B | 70B | 140GB | 8×A100集群 | #### 2. **关键技术优化** - **Flash Attention**：加速注意力计算，提升20-30%推理速度 - **动态批处理**：合并请求提升GPU利用率 - **模型切片**：使用`accelerate`库实现CPU/GPU混合加载 --- ### 四、部署架构设计 ```mermaid graph TD A[客户端请求] --> B{负载均衡器} B --> C[GPU节点1: vLLM服务] B --> D[GPU节点2: TGI服务] C --> E[Redis缓存层] D --> E E --> F[监控系统: Prometheus+Grafana] ``` --- ### 五、成本估算（以Llama-2-70B为例） 1. **硬件成本**：8×A100服务器 ≈ $15万/年（租赁） 2. **电力消耗**：6kW × 24h × 365d ≈ 52,560度/年 3. **优化收益**：量化+动态批处理可使QPS提升3-5倍 --- ### 六、典型问题解决方案 1. **显存不足**：启用`--device-map "auto"`自动分配计算设备 2. **响应延迟高**：使用CUDA Graph优化内核调度 3. **长文本溢出**：扩展RoPE位置编码至16k tokens --- ### 七、推荐工具链 1. **监控工具**：NVIDIA DCGM + Prometheus 2. **容器化部署**：Docker + Kubernetes（需配置NVIDIA device plugin） 3. **压测工具**：Locust + Triton Client --- 通过上述方案，可在保证推理质量的前提下，将70B级大模型的单token延迟控制在50ms以内，达到生产级部署标准。具体参数需根据实际业务场景微调。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码讲故事

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值