adjest的博客

原创 多GPU训练allreduce超时

问题描述：在多gpu训练时，会出现卡在某个周期的最后。使用单个gpu训练就没有这个问题。解决方法：找到drop_last的配置设置为打开drop_last=True。