FlyAI资讯：深度学习之父Hinton：下一代神经网络

摘要：在机器学习中，有三种不同类型的学习模式：首先是监督学习，即给定输入向量学习预测输出。然后是强化学习，通过学习选择动作以获得最大奖励。最后是无监督学习，其目的是学习输入的内部表征，但是从数学上定义什么是 ...

人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目开源算法样例，支持算法能力变现以及快速的迭代算法模型。

SIGIR是一个展示信息检索领域中各种新技术和新成果的重要国际论坛，若非疫情影响，今年本定于中国西安市举行。7月25日-7月30日，第43届SIGIR2020在线上举行。

7月27日，2018年图灵奖得主Geoffrey Hinton带来了主题为《The Next Generation of Neural Networks》的讲座。讲座由约克大学信息技术学院正教授Jimmy Huang主持，ACM杰出科学家、 吉林大学人工智能学院常毅教授担任嘉宾。

在讲座中，Hinton指出：人工神经网络最重要的未解难题之一，是如何像大脑一样有效地进行无监督学习。

当前有两种主要的无监督学习方法：

第一种方法，以BERT和变分自编码器为例，使用了深度神经网络来重建其输入。这种方法对于图像来说是有问题的，因为网络的最深层需要对图像的精细细节进行编码。

第二种方法是Becker和Hinton在1992年提出的:当给定相同图像的两个不同片段作为输入时，训练深度神经网络的两个副本以产生具有高互信息的输出向量。设计此方法的目的是使表征形式不受输入无关细节的束缚。

Becker和Hinton使用的优化互信息的方法存在缺陷（出于一个微妙的原因，讲座中会解释），因此Pacannaro和Hinton将其替换为判别性目标函数，在该目标函数中，一个向量表征必须从许多替代方案中选择相应的向量表征。

表征的对比学习（contrastive learning of representations）被证明非常有效，但是它存在一个主要缺陷：要学习具有N位互信息的成对的表征向量，我们需要将正确的对应向量和大约2^N个错误的替代方案进行对比。Hinton将描述解决这种局限性的新颖有效方法，并且表明这将导致在皮质中实现感知学习的简单方法。

Geoffrey Hinton现在是多伦多大学的计算机科学系荣誉退休教授，Google的副总裁兼工程研究员，以及Vector Institute的首席科学顾问。他最早使用反向传播学习单词嵌入，对神经网络研究的其他贡献包括玻尔兹曼机、分布式表示、时延神经网络、专家混合、变分学习和深度学习。2018年，Geoffrey Hinton因在深度学习方面的贡献与Yoshua Bengio、Yann LeCun一同被授予了图灵奖。

以下是演讲全文:

 

1、无监督学习的历史

1、自编码器

在这次演讲中，我将讨论神经网络的未来发展方向。不过在这之前，我会先谈谈神经网络的发展历史，特别是无监督学习。

在机器学习中，有三种不同类型的学习模式：首先是监督学习，即给定输入向量学习预测输出。然后是强化学习，通过学习选择动作以获得较大奖励。最后是无监督学习，其目的是学习输入的内部表征，但是从数学上定义什么是好的表征形式很困难。

首先解释我们需要无监督学习的原因。人类拥有10^14个突触，但只能活10^9秒。这意味着如果要学习大多数突触，显式标签或奖励可能无法提供足够的信息，因为我们必须每秒学习10^5个突触。

有人反对人类需要学习所有突触的观点。一种说法是，可能大多数突触都不会被学习，而且进化的效率很低，进化算法的效率就比反向传播算法低得多。突触可能是高度冗余的。

但是，我认为大脑浪费容量的可能性很小。人类的学习模型非常庞大，却不需要大量的数据，这与常规的统计方法非常不同。对人类而言来说，经验是昂贵的，而突触是廉价的。

因此，我们需要研究不使用大量经验和拥有很多参