人工智能_大模型003_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_003---人工智能工作笔记0138

已于 2024-02-29 15:44:00 修改
阅读量331 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度/机器学习&爬虫 文章标签： 人工智能 ChatGLM6B大模型 CPU安装大模型 清华大模型安装
于 2024-02-19 23:59:04 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/136174560
本文记录了在普通服务器CPU上安装清华开源的人工智能AI大模型ChatGLM-6B的过程，包括下载算法、解压、安装依赖、遇到的网络超时问题以及解决办法。通过尝试多个国内镜像源，最终成功安装，并启动模型，但在运行时发现需要GPU支持。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  前面的环境安装差不多了,这里我没有安装git,因为我认为用不到,好下面去下载算法:

首先是算法下载:

https://codeload.github.com/THUDM/ChatGLM-6B/zip/refs/heads/main

算法的下载连接是这里:

可以看到下载以后得到这个ChatGLM-6B-main这个算法压缩包

然后我们再去: 

然后上传到/data/soft目录下,然后解压到/data/module下

可以看到

了解本专栏 订阅专栏 解锁全文 超级会员免费看
人工智能_大模型001_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_001---人工智能工作笔记0136
添柴程序猿的专栏
02-19 603
如果你想用8G内存,普通电脑安装就算了,装不上的,至少32G内存,才能安装最小的,并且,安装不会顺利可能出现,多次安装不成功的情况,需要多次尝试,所以最好用AI服务器吧,或者租用在线的AI服务器,AI服务器安装版,那个博文里有推荐AI服务器租用.再把这个python的安装包,复制到/usr/local下面去,然后进入/usr/loal去看看。然后我们再去之前解压到/data/module/Python-3.10.8这个文件夹中,然后再去。然后再去安装,走到/openssl-1.1.1目录中,然后,执行。
人工智能_大模型002_PIP3安装使用国内镜像源_安装GIT_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_002---人工智能工作笔记0137
添柴程序猿的专栏
02-19 606
可以看到按照上面的步骤,我们给pip设置了软连接,然后配置了pip的config镜像源.首先去下载软件,到/data/soft ,可以用wget命令也可以自己用浏览器下载。执行配置以后,然后: 执行的时候报错了...唉,行吧,这里我应该不需要用git,参考上一步,上一个博文,去卸载吧,把python3卸载以后,然后重新安装一下。他们用git用来下载模型的,我都是手动的网络上下载的.好,下一节,来安装模型。可以看到又出现了,因为是国外镜像源,下载不下来,下面我们来切换一下国内源。
ChatGLM-6B-main模型搭建过程
04-21 411
4、下载解压ChatGLM-6B-main后，并把下载的训练数据放到chatglm-6b目录下以后，运行：pip install -r requirements.txt。2、pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple （换清华源）3、python -m pip install --upgrade pip （升级pip）1、安装python-3.10.7-win64 （注意版本）
类ChatGPT模型ChatGLM-b6本地部署实践
牧羊人的方向
04-18 4764
国外ChatGPT火爆持续，前一段时间百度发布“文心一言”还没有全面放开测试，这不阿里“通义千问”又悄然而至，国内大模型AI产品渐渐浮出水面。早在2022年8月份时候清华大学的对话语言模型ChatGLM-6B就发布并开源，本文简要介绍ChatGLM-6B在本地环境的部署实践。
浅运行ChatGLM-6B
weixin_49035017的博客
03-31 965
如果一个一个手动安装第三方库，则会出现库与库之间版本不兼容的问题，比如安装完运行代码时会报错。创建虚拟环境：conda create -n chatglm-6b python==3.9。前期准备工作完成，根据readme.md进行demo运行即可进行体验。下载到本地，解压，得到文件夹ChatGLM-6B-main。开始创建环境时使用python==3.7，会报错。python==3.9：所依赖python版本。3.安装必要的第三方库时，执行以下命令。chatglm-6b：虚拟环境名称。
ChatGLM-6B (介绍相关概念、基础环境搭建及部署)
热门推荐
王亮的博客
04-04 2万+
chatglm-6b详细部署步骤
ChatGLM-6B部署笔记
weixin_45280299的博客
05-13 1598
本笔记基于ChatGLM-6B开源网站完成ChatGLM的本地部署。首先电脑已经安装python3.10，anaconda，pycharm2022.3，如若使用本地网络会出现安装依赖失败、下载代码文件缓慢等问题，解决方法有两个，一是可以使用清华源安装依赖，下载模型；二是全程使用VPN，本次部署使用的方法是后者。电脑系统 windows 10显卡 A5000 24GB运行 内存128GB。
人工智能_大模型004_CPU安装运行ChatGLM大模型_安装清华开源人工智能AI大模型ChatGlm-6B_004---人工智能工作笔记0139
添柴程序猿的专栏
02-20 206
注意是修改cli_demo.py 和 web_demo2.py 这两个文件哈, 这两个文件需要修改,其他的我只是对应的刚刚备份的cpu版本,改成了cpu的版本内容而已.需要gcc的版本是11.3.0,这里我们先没有去安装,直接试试再说。上一节003节我们安装到最后,本来大模型都可以回答问题了,结果,然后把后面的原来的内容,改成.float() 就是cpu版本了.分别写成cpu,gpu,对应的是cpu和gpu的版本。可以看到这里有个CPU部署,可以看到说,要把。可以看到把上面的这个部分,修改成,下面的。
人工智能_AI服务器安装清华开源_CHATGLM大语言模型_GLM-6B安装部署_使用AI服务器安装_人工智能工作笔记0092
添柴程序猿的专栏
11-28 698
看到的这个开源的大模型,很牛,~关键让我们自己也可以部署体验一把了,虽然不知道具体内部怎么构造的但是,也可以自己使用也挺好.安装以后,是可以使用python代码进行提问,然后返回结果的,这样就可以实现我们自己的chat应用了,这个已经有这个模型了,自带的,当然也可以自己去下载最新的安装,这个模型其实就是62亿的训练数据.可以看到安装的需求,如果自己没有那么高的显卡配置可以,用CPU安装,但是配置也需要高一些。当然也可以使用我们自己的数据集,让这个算法进行自动学习和微调,然后来做预测,但是。
ChatGLM-6B的安装和使用最全面细节讲解
月亮的博客
06-01 5832
ChatGLM-6B是一个基于General Language Model (GLM)架构的开源对话语言模型，支持中英双语。该模型使用了和ChatGPT类似的技术进行优化，经过1T标识符的中英双语训练，同时辅以监督微调、反馈自助和人类反馈强化学习等技术，共有62亿参数。
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
xzp740813的博客
04-30 1497
大家好，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
白天研究生系列：炼丹专题第三集《本地部署大语言模型保姆级教程——以ChatGLM-6B为例》
PoisonBromChan的博客
12-27 2286
本地部署大语言模型ChatGLM-6B保姆级教程
在CPU上安装部署chatglm-6b实用经验分享
m0_53773302的博客
08-09 1504
网上有很多材料，有的说安装TDM-GCC，有的又说安装mingw64，有的又说安装win64devkit，反正笔者自己的经验是：win64devkit（注意，可以多装几个，因为编译.so文件时，和运行时要求的，可能有时候要用不同的gcc，如果不行，就换一个，反正win64devkit编译下面的.so是没问题的）有很多网站都分享了一些经验，但不知道是不是环境的问题，笔者自己发现按照网上的文章，很多都走不通，也是自己综合各个文章，多次尝试，才勉强算是成功运行了！（1）下载官方代码，安装Python依赖的库。
从零开始的ChatGLM 配置详细教程
风吹落叶的博客
04-22 1万+
最近安装了一下叶佬的一键安装包总感觉，没有被bug虐浑身不舒服遂，去github上重新git clone了官方的下来并部署玩玩。
个人使用ChatGLM-6B遇到的部分问题汇总
weixin_48713918的博客
05-26 1万+
项目的github网址（https://github.com/THUDM/ChatGLM-6B）中有解决问题专用的Issues模块。建议遇到问题先将部分报错写在这里进行查询，大概率能找到问题的解决方法。本文章只用于记录个人在使用过程中遇到的问题，供以后回忆之用。以下都是在运行cli_demo.py遇到。推荐版本是4.27.1 ，但是好像不太行。以上修改完成后，我的程序就已经可以运行了。这里有多个问题需要解决。
基于魔搭开源推理引擎 DashInfer实现CPU服务器大模型推理--实战篇
最新发布
IT大头的博客
05-30 1747
CPU推理大模型，引擎dashinfer 我在win下pip install 一直失败，不知道是不是我环境的问题，还是本身包不支持win。在单NUMA CPU上进行单NUMA推理不需要特殊的权限和配置。（1）内存占用情况，我这个使用的1.8b的模型占用内存大概在8-15g左右。TensorFlow官方的建议是不使用，可能会存在冲突，所以可能需要卸载。在多NUMA节点的CPU上，若只需要1个NUMA节点进行推理，需要用。使用单NUMA推理，需要将模型配置文件中的。使用多NUMA推理，需要将模型配置文件中的。
轻松玩转开源大语言模型bloom（一）
轻舟已过万重山的博客
03-07 1万+
文字生成？知识问答？手把手带你体验人人都能玩的开源大语言模型。
【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca
nlpstarter的博客
03-29 1万+
推荐一个在本地部署中文类ChatGPT大模型的开源项目
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值