本期实战为图像分类第二期,我们使用数据智能标注、模型训练和模型部署端到端模拟真实AI开发场景,构建一个图像分类应用。
1. 配置ModelArts访问秘钥
登录ModelArts管理控制台,在“全局配置”界面添加访问秘钥,如下图(如已添加密钥,可跳过此步):
特别注意的点:区域选择 北京一,我这边已添加,因为在做第一期的时候有添加好,第一期的实践地址:
https://github.com/huaweicloud/ModelArts-Lab/issues/49
2. 数据智能标注
在监督学习中,AI开发者首先需要给训练数据打标签。如果数据量比较大,给数据打标签的工作量会很大。ModelArts的智能标注功能可以只标注少量的数据,然后智能标注剩余的数据,从而减少开发者的工作量。此小节中,我们演示ModelArts智能标注功能。
步骤 1 点击此处 (https://modelarts-labs.obs.cn-north-1.myhuaweicloud.com/end2end/image_recognition/dog_and_cat_200.tar.gz),下载小样本的猫狗识别数据集,然后解压压缩包至本地。
此数据集包含猫和狗的图片各100张,名称为dog_and_cat_200,即经过7ZIP的两次提取,获得文件夹,打开里面会有200张图片
步骤 2 使用OBS Browser上传文件夹dog_and_cat_200至OBS路径/ai-course-001/dog_and_cat_recognition/
下(其中,ai-course-001是OBS桶名,在创建OBS桶的时候可以自己定义桶名,dog_and_cat_recognition是OBS桶下的一个文件夹)。如果OBS桶和路径不存在,需要自己创建。注意:OBS桶名全局唯一,如果创建桶时桶名冲突,需要选择其他桶名。
OBS是对象储存服务的英文缩写,是华为云上的数据存储服务。
OBS Browser是OBS客户端的英文名称,用来上传本地文件至OBS。
OBS Browser的下载链接:https://support.huaweicloud.com/clientogw-obs/zh-cn_topic_0045829056.html
以下是我本机操作时的文件夹创建过程:文件夹为dog_and_cat_recognition,ai-course-test为我第一次实验时已创建好的
步骤 3 在ModelArts数据标注中创建数据集
在ModelArts中左侧找到“数据标注”,先做OBS服务授权,如下图所示:
然后点击“创建数据集”,创建数据集页面填写方式如下:注意红框部分,按要求填写,其中输出位置的长度有限制,适当截取
数据集名称:dataset-dog-and-cat
数据集输入位置:dog_and_cat_200文件夹所在的OBS路径
数据集输出位置:标注后数据的输出OBS路径。如果不存在,需要自己创建,我当前的是dog_and_cat_200_label,与dog