部署+微调GLM开源大模型
创建阿里云服务器
1、登录阿里云-计算(https://www.aliyun.com/),完成学生认证,申请三个月的免费服务器使用时间。学生认证通过后,可以领取一次300元的折扣券,如下图:
2、点击上方的“产品”,在产品类别里面搜索“人工智能与机器学习”,“人工智能平台PAI(原机器学习平台)”
3、点击管理控制台,在“模型开发与训练”中找到"交互式建模(DSW)",然后点击新建实例,填写实例名称,配置信息如下:这里请注意镜像版本;自动创建的实例默认的系统盘大小为100GB,如果要增加系统盘是需要额外收费的,而且系统盘扩容后,是不允许再缩容的。可以根据自己的实际情况设置系统盘大小,建议先设置为100GB,空间不够后续再增加;可以用折扣券直接抵扣增加系统盘产生的费用,不用的时候切记及时关掉实例,。
注意:服务器的计算时和普通计算时不一样(根据服务器的配置:1小时=*服务器计算时),所以不用的时候一定要关闭服务器,不然会产生额外的费用。
部署大模型
1、首先更换源地址
打开终端,永久更换源地址:pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 换回默认源pip config unset global.index-url
2、下载大模型
创建文件夹models:mkdir models
跳到文件夹models下面:cd models
安装git:apt update
apt install git-lfs
克隆chatGLM3-6b大模型:git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
等待一段时间,中间如果出现下载过慢的情况需