amazon sagemaker 练习

本文详细介绍了如何使用亚马逊SageMaker进行机器学习模型的训练和部署。首先创建IAM用户和S3存储桶,然后在SageMaker Notebook实例上进行模型训练,包括数据预处理、选择内置模型、设置训练任务。接着部署模型,创建模型、配置Endpoint并验证模型效果。最后,将SageMaker的Endpoint整合到AWS Lambda服务和移动应用中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

亚马逊的sagemaker 提供了模型训练到部署的全流程支持,下面这个例子是其参考手册的入门例子,记录一下整体流程,具体代码操作可以查看其手册。

1 创建Amazon账号,建立IAM 用户(identify and access management)

2 建立 S3 bucket (Amazon simple storage service ) 用于存放训练数据和调优后的模型代码/模型工件(model artifact)

3建立sagemaker notebook 实例 

4训练模型(可以选用amazon内置的模型也可以上传自己的深度学习模型,入门例程仅适用内置模型,内置模型也有两种操作模型,一种是使用high-level的内置python library,一种是使用AWS SDK,前一种非常方便,后一种虽然复杂,但对于了解整个配置过程有帮助,按后一种讲解)

4.1 建立jupyter notebook,选择conda python3,定义角色role和相应的bucket

4.2下载、整理、转换训练数据,并上传到s3中

      4.2.1给出下载地址url,解压到训练、验证和测试三部分;

      4.2.2整理清洗数据;

      4.2.3将数据转换类型,从numpy.array转换为 RecordIO protobuf格式,并上传到S3中的指定位置

4.3 训练模型算法

     4.3.1选择合适的算法

     4.3.2创建一个训练任务

            指定训练代码的docker image; 指定超参数;指定输入输出的位置(S3)

            sagemaker=boto3.client('sagema

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值