微调大模型-1-云服务器使用

已于 2024-10-24 00:00:00 修改
阅读量266 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： AI 文章标签： 服务器 AI
于 2024-10-23 23:54:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_53292003/article/details/143196638
AutoDL

本教程全部使用AutoDL云，网址：https://www.autodl.com/home
进入网页，完成注册+实名认证

租用云实例

在这里插入图片描述
选中右上角-控制台，选择左侧-容器实例，点击-租用新实例。
在这里插入图片描述
选择RTX4090显卡，24显存，18核，60G内存。
在这里插入图片描述
设置镜像，选择PyTorch框架，因为后面微调大模型都要用这个框架，版本2.1.0，ubuntu系统。
点击-立即创建，第一次创建需要充值。

实例说明

在这里插入图片描述
快捷工具列可点击进入AutoDL提供的网页工具jupyter，用于远程控制系统。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微调大模型-2-Qwen基座模型使用
大AI时代，人性化的信息更加难得可贵
10-24 322
学会基座模型的使用是重要的一步
微调大模型-4-合并基座模型
大AI时代，人性化的信息更加难得可贵
10-28 188
合并路径得到新的4个safetensors文件，这就是合并后的模型文件，这些模型文件可以再次用于微调。报错显示磁盘空间不足，这是由于AutoDL云，当前默认空间用的是系统盘，空间只有30G。将合并路径存储到50个G的数据盘，数据库路径是autodl-tmp文件夹。经过几分钟时间，完成合并。
【奶奶看了都会】云服务器ChatGLM模型fine-tuning微调，让你拥有自己的知识库
龙大
06-04 1125
AI技术的发展真是太快了，距离我上次写文才过去一个月，这个月的时间就涌现了各种新东西。AutoGPT、Midjourney、各种ChatGPT相关的课程、文心一言、讯飞大模型、Claude等等。有微调需求的可以在 公众号卷福同学内联系。
大模型微调原来如此简单：3分钟用SiliconCloud轻松打造专属大模型LLM
xxue345678的博客
11-19 2745
对个人开发者与生成式AI团队而言，微调模型以应对特定业务需求已是常态，这种方式让他们不必承担从头训练的高昂成本，而是利用自己业务的特定数据集，就可以增强顶尖语言模型的能力，更好满足特定行业需求和应用场景。SiliconCloud上线的微调服务能帮助用户以高性价比的成本快速训练专属模型。很快，SiliconCloud还将支持模型托管服务，支持微调到部署的全流程服务，让用户无需关注模型层面的底层技术细节，而是专注高效产品开发，以极低成本开发出有独特优势的生成式AI应用。​。
有浏览器就行，手把手带你从零微调大模型！
python12345_的博客
07-09 2675
今天分享一篇技术文章，你可能听说过很多大模型的知识，但却从未亲自使用或微调过大模型。大模型微调本身是一件非常复杂且技术难度很高的任务，因此本篇文章仅从零开始，手把手带你走一遍微调大模型的过程，并不会涉及过多技术细节。希望通过本文，你可以了解微调大模型的流程。微调大模型需要非常高的电脑配置，比如GPU环境，相当于你在已经预训练好的基础上再对大模型进行一次小的训练。但是不用担心，本篇文章会使用阿里魔塔社区提供的集成环境来进行，无需使用你自己的电脑配置环境。
微调一个自己的大模型（腾讯云cloud studio + llama factory）
python12222_的博客
12-09 1891
最近就是新项目和老项目一起支撑，老项目的人以为我还在支撑，然后新项目的人以为我不在支撑老项目了。本来我还乐呵呵的两边一起支撑，后来领导突然问我怎么还在干老项目，让我把老项目的事情交给另一个同事去干。感觉有点吃力不讨好之后，我直接完全不管老项目了，在我的签名上直接加上了老项目支撑=〉xx同事。新项目这边之前干过一个星期，有点基础，上手也挺快。这周当了两天测试，当了几天开发，解了一个问题单。具体的话就是把转测的门槛用例测完了，开发了一个完整的新功能，然后定位了一个并发问题。
windows环境Ollama部署Llama3中文并调优
u012864987的专栏
05-20 6375
地址：https://ollama.com/downloadgithub地址： https://github.com/ollama/ollama直接运行exe程序安装。安装完成后，可以在右下角看到ollama图标环境变量控制：OLLAMA_MODELS 配置模型下载部署的目录, 示例： D:\modelsOLLAMA_HOST 服务地址端口， 示例： 0.0.0.0:11434ollama运行命令见 ollama --help 查看帮助。
人工智能-大模型-基于DPO算法微调语言大模型，简单好上手
10-21
基于DPO算法微调语言大模型，简单好上手 在使用之前请确保您已经按照格式准备了数据，下面需要修改以下路径，即可运行该项目，在dpo_train.py的run函数下: 注意file是一个json文件。 file = '' model_file = '' ...
【DeepSeek微调实践】DeepSeek-R1大模型基于MS-Swift框架部署/推理/微调实践大全
最新发布
寻道AI，探索AI无限可能！
03-31 7942
MS - Swift 是一款专为大模型部署而精心打造的高效框架，具备出色的兼容性与丰富的功能特性。在模型类型支持上，无论是专注于文本处理的纯文本模型，还是融合文本、图像、音频等多种信息模态的多模态模型，亦或是擅长文本序列分类任务的序列分类模型，MS - Swift 均能为其提供适配的部署环境。另外在功能层面，MS - Swift 框架提供了基于 Gradio 的 Web UI。
（手动）在服务器上部署模型记录
m0_74645064的博客
10-14 658
服务器上部署模型
开源大模型在亚马逊云科技上的部署和微调优化实践
weixin_46812959的博客
06-06 574
总的来说,这场演讲旨在向开发者展示亚马逊云科技在简化大模型部署和微调方面所做的努力,并鼓励开发者利用这些工具,专注于利用自身数据构建创新应用。2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。
记录在阿里云服务器上对ChatGLM3大模型的部署与微调
weixin_43679698的博客
07-10 659
阿里云服务器：人工智能平台PAI-->交互式建模（DSW）-->环境配置（odelscope:1.16.0-pytorch2.3.0tensorflow2.16.1-gpu-py310-cu121-ubuntu22.04）
创新实训：模型预训练与微调-服务器租借与环境配置
m0_62869351的博客
06-22 1303
前期准备：（1）租借autodl服务器autodl 服务器：建议选 4090（24G），不然微调的显存不够。我们用 LoRA 微调，至少得 20G（8B模型）。（2）开源微调工具。
大模型微调实战指南：从零开始手把手教你微调大模型
2401_84495872的博客
10-17 6824
今天分享一篇技术文章，你可能听说过很多大模型的知识，但却从未亲自使用或微调过大模型。大模型微调本身是一件非常复杂且技术难度很高的任务，因此本篇文章仅从零开始，手把手带你走一遍微调大模型的过程，并不会涉及过多技术细节。希望通过本文，你可以了解微调大模型的流程。微调大模型需要非常高的电脑配置，比如GPU环境，相当于你在已经预训练好的基础上再对大模型进行一次小的训练。但是不用担心，本篇文章会使用阿里魔塔社区提供的集成环境来进行，无需使用你自己的电脑配置环境。
2025年 | 大模型LLMs很火，作为新人小白应该怎么入门 LLMs? （附最新大模型学习路线）
m0_56255097的博客
01-03 753
大模型目前在人工智能领域可以说正处于一种“炙手可热”的状态，吸引了很多人的关注和兴趣，也有很多新人小白想要学习入门大模型，下面给大家分享一份2025最新版的大模型学习路线，帮助新人小白更系统、更快速的学习大模型！保证100%免费。
大模型微调入门
WIZERS的博客
03-04 948
本文面向于对大模型了解甚少又急需学习大模型微调知识的保姆式教学。主要包括对大模型的介绍、微调和知识库的区别、数据集的构建、服务器的选取和环境配置、模型训练和本地化部署等。
利用租用的GPU进行训练
cocoack的博客
02-16 772
往往配置好要正式启动时发现GPU被其他人占用了，我们就要点上面的保存镜像，这样租其他服务器时就不用重新配置环境了。这里提醒一下你如果跑大模型最低也得3090，这里我推荐如果就一般7b左右的用4090就够了。用租的gpu跑代码的流程是pycharm会将你的代码上传到服务器上，然后用linux指令再去跑这段被上传过的代码。这里我上次已经连接过了，具体可以参照上面的博客。这里有些步骤我就直接用上面博客的，没有必要再写一遍，并结合自己的实践进行补充。1.在配置环境，上传文件时推荐用无卡模式省钱。
10分钟部署一个模型：云服务器部署ChatGLM3-6b以及微调
YYDS_WV的博客
10-26 2848
针对chatglm3-6b模型，以阿里云服务器和AutoDL为例，关于在云服务器创建、模型部署、历史版本/分支拉取、rust安装等内容。
2 -《本地部署开源大模型》智选GPU算力平台：免费与付费租赁指南
u010442263的博客
10-15 5310
智选GPU算力平台：免费与付费租赁指南
云服务器 微调大模型
01-17
### 云服务器上微调大型机器学习模型的方法 #### 准备工作 为了在云服务器上成功微调大型机器学习模型，前期准备至关重要。这包括但不限于选择适合的预训练模型，如 BERT 或 GPT 等[^1]。考虑到不同任务和数据集对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jumore

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值