3.GPipe: efficient training of giant neural networks using pipeline parallelism

从两篇不错的博客中学到不少，在此备份。
1.
版权声明：本文为优快云博主「Hi_AI」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/github_36923418/article/details/126341569

版权声明：本文为优快云博主「dartao_」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：
https://blog.youkuaiyun.com/Dartao/article/details/123652426