无需学习任何权重参数就能做神经网络？谷歌学术发布WANN | 一周AI最火学术

大数据文摘专栏作品
作者：Christopher Dossman
编译：fuma、李琳、云舟

呜啦啦啦啦啦啦啦大家好，拖更的AI Scholar Weekly栏目又和大家见面啦！

AI Scholar Weekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。

每周更新，做AI科研，每周从这一篇开始就够啦！

本周关键词：神经网络、中美AI争霸、华为发布AI芯片

本周最佳研究

使用双回火逻辑损失训练具有噪声数据的神经网络

在最近的一篇论文中，Google Research发布了一种称之为“基于Bregman发散的鲁棒双回火逻辑损失”的方法。这种方法可以处理逻辑函数所遇到的噪声数据挑战。他们的方法是基于Bregman发散，并且优于使用Tsallis发散的双回火方法。

他们将温度引入了指数函数，并通过高温一般化替换神经网络的softmax输出层。出于同样的原因，训练的对数损失中的对数由低温对数交换。然后，他们通过调整两个温度来创建已经处于单层情况的非凸损失函数。在使用逻辑损失的双温度推广替换网络的最后一层的后，训练对噪声变得更加鲁棒。

文中所提出的双回火损失函数在模型训练上实现了出色的经验性能。它显示了处理大边际异常值的巨大潜力，并且还引入了重尾处理小边距错误标记数据的方法。

研究人员将双回火损失函数与逻辑进行了比较，并验证了它在各种图像分类任务中的实际应用。他们使用MNIST数据集进行了中等规模的实验，并在CIFAR-1