Accelerate PyTorch training with torch-ort

原文链接：https://cloudblogs.microsoft.com/opensource/2021/07/13/accelerate-pytorch-training-with-torch-ort/

训练深度学习模型需要不断增加的计算和内存资源。torch_ort加速PyTorch模型的分布式培训，减少训练所需的时间和资源。并且为了给开发者提供灵活性，torch-ort可用于NVIDIA和AMD的gpu，可以与DeepSpeed等其他深度学习优化器一起使用，在训练任务中提供额外的性能提升。

ORTModule（ https://github.com/pytorch/ort）类是torch.nn.Module的简单wrapper。ORTModule支持transformer，如GPT和BERT系列（即将支持其他模式）。使用此模块，可以针对目标任务使用标记数据集对最流行的语言模型进行微调;用特定的语料库增强模型的自我监督训练，或从头开始用训练前的新模型进行实验。