9、霍普菲尔德网络与玻尔兹曼机：神经网络的重大突破

霍普菲尔德网络与玻尔兹曼机：神经网络的重大突破

1. 伟大物理学家约翰·霍普菲尔德

在物理学领域，获得博士学位需要解决一个问题。优秀的物理学家应能解决任何问题，而伟大的物理学家则知道该解决什么问题，约翰·霍普菲尔德便是这样一位伟大的物理学家。他在凝聚态物理领域取得卓越成就后，将兴趣转向生物学，尤其关注“分子校对”问题。在细胞分裂时，DNA复制难免会出现错误，为保证子细胞的保真度，这些错误必须得到纠正。霍普菲尔德想出了一个巧妙的解决方案，尽管该过程会消耗能量，但后续实验证明他是正确的。在生物学领域取得正确的成果是一项了不起的成就。

霍普菲尔德还是一位出色的导师。当他刚开始对神经科学产生兴趣时，他成为了某人在普林斯顿大学的博士导师。他满怀热情地分享从神经科学研究项目（NRP）会议上了解到的知识。NRP出版的小型研讨会会议记录非常有价值，能让人了解当时该领域正在研究的问题和思路。例如，传奇神经行为学家西奥多·霍尔姆斯·布洛克组织的关于神经编码的研讨会会议记录，布洛克与阿德里安·霍里奇合著的关于无脊椎动物神经系统的书籍更是经典之作。后来，有人还与布洛克合作对珊瑚礁的集体行为进行建模，并荣幸地成为他2008年最后一篇科学论文的共同作者。

2. 复杂神经网络的挑战

具有反馈连接到早期层以及层内单元之间循环连接的神经网络，其动态比仅具有前馈连接的网络要复杂得多。具有任意连接单元且带有正（兴奋）和负（抑制）权重的网络，在数学分析上是一个难题。尽管20世纪70年代末，芝加哥大学的杰克·考恩和波士顿大学的斯蒂芬·格罗斯伯格取得了一些进展，证明这类网络可以重现视觉错觉和幻觉，但工程师们发现让这些网络解决复杂计算问题仍很困难。

3. 具有内容寻址记忆的网络—