在人工智能训练的竞赛中，来自日本的书呆子们冲击着来自Facebook的书呆子们...

策划｜Tristan Greene
译者｜Erica Yi
编辑｜Emily
AI前线出品｜ ID：ai-front

今年夏天，Facebook 宣布它在神经网络训练上的巨大突破。其研究人员能够在一个小时内，用 256 个 GPU 完成一个图像处理 AI 的训练。 一群大学的研究人员也不甘示弱，用 1600 个 Skylake 处理器在 32 分钟内实现了相关训练。一个星期后，一支日本的队伍在 15 分钟内就完成了该训练。这就是为什么我们称之为 AI 竞赛。

训练一个神经网络的过程和你如何描绘它的过程一样。 只要你想像它是这样的：

基本上就是，你要尽可能快地把尽可能多的数据塞进一台计算机，这样计算机就会对要学的东西有一些基本的了解。

ImageNet 是计算机将图像与单词相关联的一种方式，它允许计算机“查看”图像并告诉我们看到的是什么。 如果你想要创建一个能够查找包含“蓝色衬衫”或“爸爸微笑”的图像的 AI，ImageNet 是很有用的。

目前，ImageNet 的基准是 Resnet50，一个 50 层的神经网络。用这个神经网络在一台非常快的计算机上训练一个深度学习系统大概需要两个星期。

为了减少训练时间，研究人员将多个处理器连接在一起以利用其综合能力。虽然这并没有让所需要的时间成指数级地减少——两台计算机并没有将训练时间从两周缩减到一天，但是因为减少了很多其他相关的开销，这种处理方式确实可以允许更加规模化的进行 AI 训练。

11 月 7 日，一组来自加利福尼亚大学伯克利分校，加州大学戴维斯分校和德州高级计算中心的研究人员在 32 分钟内完成了对 Resnet50 模型的完整训练，而且模型精确度也足以与 Facebook 之前在 60 分钟内训练出的模型相媲美。

然而，不到一个星期之后，日本人工智能公司 Preferred Networks 就利用自己的超级计算机（由 1024 个 Nvidia Tesla GPU 组成）在短短 15 分钟内实现了相同的功能。

根据 Takuya Akiba、Shuji Suzuki 和 Keisuke Fukuda 发布的白皮书，该团队对于该功能的实现是基于 Facebook 研究人员之前的研究成果。Facebook 的社交网络和 Preferred Networks 公司都使用了 Nvidia Tesla GPU。

日本公司之所以能够在四分之一的时间内达到与 Facebook 相接近的准确度，也许关键点是所用 minibatch 的数量。Facebook 使用了 8,192 个 minibatch，而 Preferred Networks 公司用了 32,768 个。在增加 minibatch 的数量的同时使用四倍的 GPU，允许后者创造出目前最短的时间记录。

将网络作为数据集来训练 AI 模型的未来已为时不远。而就像电影“Short Circuit”中的感性机器人一样，我们的机器也需要所有能够得到的输入来更好的理解人类。

原文链接:

thenextweb.com/artificial-…