在windows 台式机电脑部署GLM4大模型

已于 2024-06-18 12:52:11 修改
阅读量1.1k 收藏 8
点赞数 4
CC 4.0 BY-SA版权
文章标签： 电脑 ChatGLM4
于 2024-06-18 08:13:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liuhagen/article/details/139757613

参考这篇文章在windows笔记本电脑部署GLM4大模型_16g显卡本地部署glm4-优快云博客

我的环境（PC台式机电脑：
处理器    Intel(R) Core(TM) i9-14900K   3.20 GHz
机带 RAM    32.0 GB (31.8 GB 可用)、32G内存、NVIDIA RTX4080（16G）、Windows 10 专业版）

基本完成处理相关软件的安装，

目前能启动trans_cli_demo.py,

中途出现torch安装错误，导致启动执行效率非常低.

后续再重新卸载torch:pip uninstall torch

pip

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

可以正常 启动，但是报需要下载：

https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_windows_amd64.exe</

最低0.47元/天 解锁文章

200万优质内容无限畅学
klzsr
关注
AI大模型探索之路-应用篇13：企业AI大模型选型指南
寻道AI，探索AI无限可能！
04-16 4024
在打造企业AI大模型的路上，我们常常会遇到一系列的选型和概念挑战。例如，如何选择合适的模型，如何挑选GPU，以及什么是微调和监督微调等。本文旨在深入剖析这些常见问题，为大家提供一个全面的概览，帮助大家更好地理解和利用这些强大的工具。
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 2694
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
glm4-9B模型环境创建
qq_57928360的博客
02-19 771
本文主要介绍如何在linux环境下本地部署glm4-9b-chat-hf
ChatGLM4重磅开源! 连忙实操测试一波，效果惊艳，真的好用！附带最新相关资料和喂饭级实操推理教程！！
2201_75571291的博客
10-23 906
GLM4重磅开源啦GLM4系列版本介绍GLM4大模型能力测评结果经典测评任务结果长文本能力工具调用能力多模态能力手把手实操GLM-4-9B-Chat推理预测&&效果展示GLM4运行硬件和环境要求配置对应的库环境使用peft+bitsandbytes 进行4位量化推理进行大模型的推理显存占用情况手把手实操 多模态版本GLM-4V-9B-Chat推理预测&&效果展示多模态GLM-4V-9B对应的硬件资源进行4位量化加载准备测试图片进行推理预测参考文档GLM-4-9B是智谱AI在24年6月5日推出的开源预训练模型
推理模型性能比肩世界先进水平！智谱GLM-4-0414系列模型昇腾MindIE部署实战
最新发布
2401_87243659的博客
05-29 719
智谱AI于4月15日开源GLM-4-0414系列模型，包含32B/9B两种尺寸的基座、推理和沉思模型，均采用MIT许可。其中32B推理模型性能媲美DeepSeek-R1等顶尖模型，推理速度达200Tokens/秒。该系列模型在数学推理、代码生成等任务表现优异，部分指标接近GPT-4o水平。昇腾MindIE提供开箱即用的部署支持。开发者可通过魔乐社区获取模型权重和详细部署指南，包含容器配置、环境设置及服务化推理等完整教程。
在windows笔记本电脑部署GLM4大模型
weixin_39945822的博客
06-13 5994
在Windows笔记本电脑上部署GLM4大模型。
【工程记录】ChatGLM3-6B 部署的详细教程（Windows）
LZXCyrus的博客
11-23 5338
本文记录ChatGLM3-6B在Windows操作系统中的部署的详细方法。
ChatGLM 4本地部署指南(Docker容器版)
Qinghub‘博客
06-06 6999
GLM-4V-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源多模态版本。 **GLM-4V-9B** 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 都表现出卓越性能。
GLM4实践-GLM4智能体的本地化实现及部署
YELLOWAUG的博客
04-03 7737
实现GLM4智能体的本地化部署及调用，本文较长，涉及的技术点也较多
chatglm4本地部署详解
lstef的博客
06-16 8031
跟chatglm3回复速度相比，简直是慢动作中的慢动作。把它修改成glm-4-9b-chat的路径：/home/ls/文档/GLM4/glm-4-9b-chat。composite_demo文件夹中的requirements.txt文件夹，是此版本需要安装的依赖。accelerate>=0.30.1，也是类似情况，但指定源下载依然不奏效。（浏览器下载也失败了2次，反正都是断点续传，继续重复执行下载即可。glm-4-9b-chjat为已经训练的参数。另一种是，手动从web下载安装文件后安装。
LangChain-Chatchat (原 Langchain-ChatGLM)Windows环境部署（台式机但是笔记本显卡）
wuji0301cata的专栏
03-19 1473
请注意，LangChain-Chatchat 0.2.x 系列是针对 Langchain 0.0.x 系列版本的，如果你使用的是 Langchain 0.1.x 系列版本，需要降级您的Langchain版本。bge-large-zh-v1.5也是类似，官网写的ge-large-zh，但实际用的large-zh-v1.5，不过两个都下载也没关系，不太大。接着，创建一个虚拟环境，并在虚拟环境内安装项目的依赖，以下命令均在gitbash的窗口中运行，gitbash内置git和类似linux的命令。
chatglm2-6b-int4大语言模型家用电脑部署
书写心得，分享感悟
08-19 1280
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
从零开始：在Windows上部署大型模型
2401_84204207的博客
07-03 2238
这是一个超详细安装教程，介绍了在 Window 电脑上如何部署 Qwen1.5 大模型。本文还涉及到 Python 及其环境的配置。适合对象：有点后端编程基础，没有 Python 基础。需要环境：Window10/11，支持 Cuda 的 Nvidia 显卡。
ChatGLM4部署教程
SJJS_1的博客
08-13 1193
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。
ChatGLM4部署教程（非常详细）零基础入门到精通，收藏这篇就够了
2401_85280106的博客
12-26 2852
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。
本地部署GLM-4-9B清华智谱开源大模型方法和对话效果体验
老牛啊
06-08 2403
清华大学和智谱AI推出了全面升级的新一代基座大模型GLM-4，整体性能相比GLM3提升60%，支持128K上下文，可根据用户意图自主理解和规划复杂指令、完成复杂任务……
GLM4模型环境配置+模型微调+模型部署学习笔记
weixin_42264784的博客
07-23 2034
本篇文章的目的在于记录视频学习如何对大预言模型的实操。
【GLM-4部署实战】GLM-4-9B-Chat模型本地部署实践指南
热门推荐
寻道AI，探索AI无限可能！
08-13 1万+
在人工智能的浪潮中，深度学习模型的部署已成为技术研究和实践的热点。自然语言处理（NLP）领域，尤其是对话系统，正迅速成为智能应用的核心。GLM-4-9B-Chat模型以其卓越的语言理解与生成能力，为构建智能对话系统提供了坚实的基础。然而，模型的部署并非易事，它涉及到环境配置、依赖管理、代码编写等多个环节。本文将通过本地模型推理和OpenAI API风格服务发布测试，带你一步步完成GLM-4-9B-Chat模型的部署实践，让你对深度学习模型的部署有一个全面而深入的理解。
chatglm4本地部署windows
12-29
### Windows 上本地部署 ChatGLM4 模型 为了在 Windows 系统上成功部署 ChatGLM4 模型，可以利用 WSL (Windows Subsystem for Linux) 来创建一个类 Unix 的开发环境。以下是具体方法： #### 使用 WSL 进行模型部署准备 进入已安装 Python 环境的 WSL 子系统，在此环境中执行必要的命令来获取所需资源[^1]。 ```bash wsl --install -d Ubuntu-20.04 ``` 这会安装并设置好适用于机器学习工作的基础平台——Ubuntu 20.04 LTS 版本下的 WSL。 #### 获取 ChatGLM4 源码库 通过 Git 将官方维护者发布的 ChatGLM4 库克隆至本地工作目录内以便后续操作[^2]: ```bash git clone https://github.com/THUDM/GLM-4.git chatglm4-repo cd chatglm4-repo ``` #### 准备模型权重文件 需要注意的是，上述步骤仅下载到了项目的结构框架以及辅助脚本等内容；实际用于推理预测的核心参数即所谓的“权重”，还需另行处理获得[^3]。对于希望快速启动测试的朋友来说，可以从 Hugging Face 平台直接拉取预训练好的模型实例: 访问 [Hugging Face Model Hub](https://huggingface.co/models)，搜索 `chatglm` 关键词找到对应的发布页面，按照指引完成下载流程。推荐采用自动化工具如 `transformers` 库简化这一过程： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "path_to_your_downloaded_model" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) ``` #### 调整硬件资源配置 考虑到大型语言模型对计算能力的要求较高，建议至少配备有良好性能表现的 CPU/GPU 组合方案。如果条件允许的话，可参照类似云服务提供商所提供的高规格实例配置标准来进行优化调整[^4]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值