20、机器学习训练任务的扩展与存储优化

机器学习训练任务的扩展与存储优化

1. 训练任务初步分析

在训练几分钟后，发现GPU内存利用率飙升至99.7%，V100已被充分利用，但CPU和GPU的整体利用率变化不大，这表明当前算法规模不足以让V100全力运行。与初始的默认批量大小的文件模式作业相比，总训练时间减少了26%，每秒处理的图像数量增加了42%，训练作业时间越长，加速效果越明显。

2. 其他存储服务介绍

除了之前尝试的EBS文件模式和S3管道模式，还可以使用另外两种存储服务：Amazon Elastic File System (EFS)和Amazon FSx for Lustre。使用这两种服务需要一定的AWS VPC、子网和安全组知识，可参考以下链接学习：
- https://docs.aws.amazon.com/vpc/latest/userguide/VPC_Subnets.html
- https://docs.aws.amazon.com/vpc/latest/userguide/VPC_SecurityGroups.html

3. 使用SageMaker和Amazon EFS

• 服务特性 ：EFS是与NFS v4兼容的托管存储服务，可创建可附加到EC2和SageMaker实例的卷，方便共享数据，可用于扩展大型训练作业的I/O。文件默认存储在标准类中，可启用生命周期策略，将一段时间未访问的文件自动移动到不频繁访问类，虽速度慢但更具成本效益。
  • 吞吐量模式 ：
    • 突发吞吐量：随着时间