在华为云平台的ModelArts 从0开始部署自己的数据集与模型

本文分享了作者使用华为ModelArts云开发平台从零开始部署模型的经历,包括创建存储桶、上传数据集、配置Notebook及避免常见问题。适合初学者快速上手并避开部署陷阱。

开篇废话!

这是我从大学以来,现在都大三了,写的第一篇文章,为什么大三开始写呢,因为自己才开始慢慢的上手,也积累了一点点经验,废话不多说,看硬货。

因为自己参加华为的ICT比赛,然后用的华为的ModelArts云开发平台(类似百度的AI studio)中间遇见了许多的曲折,所以写这篇文章帮大家避坑

在ModelArts 从0开始部署自己的模型(一)—用自己的数据集训练数据

1、上传自己的数据集

1、1 创建华为云的桶

(1)在华为云打开OBS对象存储服务,点击创建桶(类似创建个云储存空间)
创建一个桶

(2)选择区域(这个很重要!!!)
因为后续创建数据集,是需要桶和数据集在一个区域中,不然数据传不上去用不了,我人在成都,然后选西南地区,创好之后发现数据集那边没有西南地区的选项,哭了
在这里插入图片描述
在这里插入图片描述

(3)桶的名称和数据冗余存储策略
这里看下面的提示选择合适自己的就好

内容概要:本文档为华为认证HCIP-AI Solution Architect V1.0的系列实验手册合集,涵盖多个AI核心技术方向的实践内容,包括Vision Transformer图像分类、大模型并行训练框架(DeepSpeed-Baichuan2-7B)、大模型微调(Llama2-7B)、大模型压缩部署以及文生图和知识库查询等应用场景。通过在华为云ModelArts平台上搭建开发环境,结合MindSpore、MindFormers、HuggingFace、Stable Diffusion等主流AI框架工具,详细指导学员完成从环境配置、模型准备、数据处理、模型训练/微调/推理到部署优化的全流程操作。重点展示了ViT模型结构实现、LoRA高效微调、增量/流式/Batch/量化推理、文生图prompt工程及知识检索增强(RAG)等关键技术的应用方法性能对比。; 适合人群:具备基本Python编程能力和人工智能基础知识,正在备考HCIP-AI Solution Architect认证或从事AI解决方案设计、大模型训练部署工作的工程师,尤其是关注昇腾NPU平台和华为AI生态的技术人员。; 使用场景及目标:①掌握基于Vision Transformer的图像分类模型构建训练流程;②掌握使用DeepSpeed和MindFormers进行大模型(如Baichuan2、Llama2)的推理LoRA微调方法;③理解并实践大模型的多种推理优化技术(如增量推理、量化推理);④学会使用Stable Diffusion实现文生图并优化prompt撰写;⑤实现基于知识检索增强的大模型问答系统,提升模型对最新事实性知识的回答准确性。; 阅读建议:本资源以实验驱动学习,强调动手实践,建议读者在华为云ModelArts环境中跟随手册步骤逐步操作,重点关注代码实现细节配置参数调整,深入理解各项AI技术背后的原理优化思路,并结合思考题进行延伸探索,全面提升大模型应用工程化能力。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值