大模型部署手记（21）Windows+ChatGLM3

最新推荐文章于 2024-08-02 17:46:47 发布
原创 最新推荐文章于 2024-08-02 17:46:47 发布 · 925 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#windows #chatgpt

本文详细描述了如何在Windows上安装并使用ChatGLM3，包括GitLFS的安装、从modelscope获取模型、创建conda环境、调整PyTorch版本以及将模型集成到LongChain-Chat中的过程。

听说 ChatGLM3发布了。张小白就想着在Windows上试一试：

先安装Git Large File Storage:

打开 git-lfs.github.com

点击Download

安装下载好的文件：

打开Git Bash:

执行：git lfs install

最低0.47元/天 解锁文章
LLMs之ChatGLM-3：ChatGLM3源码解读(inference_hf.py)微调模型实现基于用户指定模型的目录和提示实现模型生成的响应——利用Typer和Transformers库构建了一
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-22 460
​ LLMs之ChatGLM3：ChatGLM3源码解读(inference_hf.py)微调模型实现基于用户指定模型的目录和提示实现模型生成的响应——利用Typer和Transformers库构建了一个命令行工具，可以方便地加载预训练的语言模型并进行对话生成 目录 ChatGLM3源码解读(inference_hf.py)微调模型实现基于用户指定模型的目录和提示实现模型生成的响应——利用Typer和Transformers库构建了一个命令行工具，可以方便地加载预训练的语言模型并进行对话生成 # 1、
ChatGLM3 本地部署的解决方案
热门推荐
herosunly的博客
10-28 8万+
本文主要介绍了ChatGLM3 本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 下载权重文件 4. 运行代码 4.1 方式一 4.2 方式二
一文教你基于LangChain和ChatGLM3搭建本地知识库问答
华为云官方博客
05-23 2674
借助ModelArts提供的AI开发能力，实现基于LangChain+ChatGLM3的本地知识库问答，通过具体案例让开发者更加清晰的了解大模型AI应用开发过程。
windows本地部署开源自然语言模型ChatGLM3-6b
weixin_40896800的博客
03-31 1785
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。默认情况下，模型以 FP16 精度加载，测试运行需要大概 16GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，或者CPU运算方式测试运行模型，下面流程是基于GPU的。
Windows环境下清华ChatGLM3+docker-desktop镜像制作和配置GPU环境docker容器本地运行
weixin_46545036的博客
02-03 1344
如下，设置python的版本，设置工作目录，将5000端口暴露，安装环境。博主在此是将Chatglm3的主要文件单独拿出来，请忽略static文件夹、templates文件夹和下面的py文件，这是博主用flask写的网页应用，一般只需要static上面的文件夹即可，使用web_demo.py文件来使用Chatglm3大语言模型。首先保证你的docker-desktop版本为最新版本，2024年以后得版本都可。拉取镜像，配置环境在此文就不多赘述。这里引用这位大佬的文章，讲的很详细。
Windows安装ChatGLM3
psbeyond的专栏
04-18 1223
Conda通常通过Anaconda Distribution或Miniconda来安装，Anaconda是一个包含Python和许多常用科学计算包的发行版，而Miniconda是一个更轻量级的Conda安装包，只包含Python和Conda，用户可以根据需要安装其他包。由于我们安装Conda的时候，没有把Conda加入到PATH环境变量中，所以，执行Conda命令的时候，要从开始菜单中，通过Anaconda Prompt来执行。如果没有安装，可以安装Conda，Conda中也集成了pip。
ChatGLM3在windows上部署
shgh_2004的专栏
01-09 2687
ChatGLM3在windows上部署
大模型部署手记（5）ChatGLM2+Jetson AGX Orin
张小白
10-05 1063
大模型部署手记（5）ChatGLM2+Jetson AGX Orin
大模型部署手记（8）LLaMa2+Windows+llama.cpp+英文文本补齐
张小白
10-10 9403
组织机构：Meta（Facebook）模型：llama-2-7b下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
大模型部署手记（11）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话
张小白
10-10 1947
组织机构：Meta（Facebook）模型：LIama-2-7b-hf、Chinese-LLaMA-Plus-2-7B下载：使用huggingface.co和百度网盘下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）查看新的模型出来了，可以试一试。
大模型部署手记（4）MOSS+Jetson AGX Orin
张小白
10-05 894
大模型部署手记（4）MOSS+Jetson AGX Orin
ChatGLM3的部署（windows版）
xi5214的博客
12-09 2110
如果你的GPU内存在8g及以上可以不用调代码，如果低于8g我们需要调整代码；使用GPU运行GPU内存最小4g，如果你的GPU内存小于4g那你就别为难他了......如图，cuda和torch兼容（参考cuda安装教程安装的cuda和上面安装的torch是兼容的）'2.1.1+cpu'则代表torch是cpu版本的，如果需要使用gpu调试则需要安装GPU版本。根据3.GPU运行注意事项调为quantize(4)之后，GPU内存使用5.1。未调整代码或者使用quantize(8)之后，GPU内存使用7.7。
在Windows系统下部署运行ChatGLM3-6B模型
AlanZhou1993的博客
08-02 4116
主要讲述关于清华ChatGLM3的部署应用
Windows 部署ChatGLM3大语言模型
分享DotNet技术和日常开发笔记，DotNet，Python为主。
04-11 755
torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能。如果从 HuggingFace 下载比较慢，也可以从。transformers 库版本推荐为 4.36.2。显存: >= 13GB（4080 16GB）python 版本推荐3.10 - 3.11。使用pycharm建虚拟环境。内存：>= 16GB。
【工程记录】ChatGLM3-6B微调实践（Windows）
LZXCyrus的博客
12-19 5084
仅作个人学习记录用。本文记录ChatGLM3-6B在Windows操作系统中的微调实践。
本地GPT-window平台 搭建ChatGLM3-6B
qyhua的专栏
06-12 1396
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，新一代开源模型已发布，拥有10B以下最强的基础模型，支持工具调用（Function Call）、代码执行（Code Interpreter）、Agent 任务等功能，结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
手把手教你部署并使用国产开源大模型ChatGLM3-6B
youmaob的博客
05-08 3376
部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
基于modelscope的大模型下载方法
wangziling123456的博客
05-22 2159
只需两步，就可利用model scope下载模型啦。1.model scope环境配置。
ChatGLM3在windows10上部署与调试
11-24 3275
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。一、ChatGLM3介绍。二、ChatGLM3下载。
大模型部署手记（7）
最新发布
12-27
### 关于大模型部署的经验分享第七部分 #### 7. 使用专用硬件加速器优化性能 为了提高大型语言模型（LLM）的推理速度并降低延迟，在实际应用中通常会选择配备GPU或TPU等专用硬件来增强计算能力[^1]。这些设备能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张小白TWO

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值