yiran103的专栏

以下内容翻译自：MPI Reduce and Allreduce在上一课中，我们介绍了使用MPI_Scatter和MPI_Gather执行MPI并行排序计算的应用示例。我们将通过MPI_Reduce和MPI_Allreduce进一步扩展集合通信例程。 注——本网站的所有代码均位于GitHub上。本教程的代码位于tutorials/mpi-reduce-and-allreduce/cod...

以下内容翻译自：MPI Broadcast and Collective Communication到目前为止，在MPI教程中，我们已经审视了两个进程之间的点对点通信。本课是集合通信部分的开始。集合通信是一种所有通信进程都参与其中的通信方式。在本课中，我们将讨论集合通信的含义，并讨论标准集体例程——广播。 注——本网站的所有代码均位于GitHub上。本教程的代码位于tutorials/...

深度学习时代的目标检测发展——从 R-CNN、Fast/Faster R-CNN 到最近的 MaskR-CNN 和 RetinaNet，主要来自新网络、新结构或损失设计。然而，作为深度神经网络训练的一个关键因素，mini-batch 的大小在目标检测方面还没有很好地进行研究。本文提出了一种大 mini-batch 目标检测器（MegDet），可以实现最大 mini-batch 为256的训练，从而...