43、多层神经网络与深度学习：从感知机到生成对抗网络

多层神经网络与深度学习：从感知机到生成对抗网络

1. 线性方法与浅层模型的局限

线性方法通常被认为是浅层的，因为它们仅结合了一层描述符，这在一定程度上限制了其表达能力。为了克服这一局限，人们开始探索能够改变数据表示的方法，尤其是深度神经网络方法。

2. 感知机的发展与困境

2.1 感知机的诞生

20世纪50年代末，Frank Rosenblatt引入了感知机模型，他认为感知机是学习语音和字符识别等感知任务的优秀模型。其学习算法通用、简单且高效，但局限于学习输入空间的线性决策函数。

2.2 感知机的困境

1969年，Marvin Minsky和Seymour Papert在相关著作中强调了感知机的这一局限性，这导致了连接主义进入“寒冬期”。尽管他们承认输入层和最后线性决策函数之间的互连神经元层可以进行某种表示变化，使系统能够解决非线性决策任务，但他们认为难以理清连接上各种权重修改的影响，因此这些层的权重只能手动编码，这对于简单的感知问题来说都是一项艰巨的任务。

3. 神经网络研究的转机

3.1 Hopfield网络的启发

1982年，固态物理学家John Hopfield注意到自旋玻璃中寻找最低能量状态的问题与神经网络中的模式识别问题之间的相似性。在这两种情况下，都存在“吸引盆”，改变原子或神经元之间连接的权重可以改变吸引盆，从而修改对应于不完美或有噪声输入的理想模式。这首次表明神经网络可以学习从输入空间到输出空间的非线性函数，推动了其他神经网络模型的发展，如“玻尔兹曼机”（速度慢且不实用）和多层感知机。

3.2 多层感知