神经网络架构演变过程,神经网络架构演变视频

人工神经网络的发展

现代意义上对神经网络（特指人工神经网络）的研究一般认为从1943年美国芝加哥大学的生理学家W.S. McCulloch和W.A. Pitts提出M-P神经元模型开始，到今年正好六十年。

在这六十年中，神经网络的发展走过了一段曲折的道路。

1965年M. Minsky和S. Papert在《感知机》一书中指出感知机的缺陷并表示出对这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期，这是神经网络发展史上的第一个转折。

到了20世纪80年代初，J.J. Hopfield的工作和D. Rumelhart等人的PDP报告显示出神经网络的巨大潜力，使得该领域的研究从停滞期进入了繁荣期，这是神经网络发展史上的第二个转折。

到了20世纪90年代中后期，随着研究者们对神经网络的局限有了更清楚的认识，以及支持向量机等似乎更有前途的方法的出现，“神经网络”这个词不再象前些年那么“火爆”了。

很多人认为神经网络的研究又开始陷入了低潮，并认为支持向量机将取代神经网络。

有趣的是，著名学者C.-J. Lin于2003年1月在德国马克斯·普朗克研究所所做的报告中说，支持向量机虽然是一个非常热门的话题，但目前最主流的分类工具仍然是决策树和神经网络。

由著名的支持向量机研究者说出这番话，显然有一种特殊的意味。事实上，目前神经网络的境遇与1965年之后真正的低潮期相比有明显的不同。

在1965年之后的很长一段时期里，美国和前苏联没有资助任何一项神经网络的研究课题，而今天世界各国对神经网络的研究仍然有大量的经费支持；1965年之后90%以上的神经网络研究者改变了研究方向，而今天无论是国际还是国内都有一支相对稳定的研究队伍。

实际上，神经网络在1965年之后陷入低潮是因为当时该领域的研究在一定意义上遭到了否定，而今天的相对平静是因为该领域已经走向成熟，很多技术开始走进生产和生活，从而造成了原有研究空间的缩小。

在科学研究中通常有这么一个现象，当某个领域的论文大量涌现的时候，往往正是该领域很不成熟、研究空间很大的时候，而且由于这时候人们对该领域研究的局限缺乏清楚的认识，其热情往往具有很大的盲目性