7、神经网络中的竞争无监督学习过程

神经网络中的竞争无监督学习过程

1 神经网络发展历程

早期，人们对大脑运作和推理的科学分析进展缓慢。直到 1880 年，Ramon y Cajal 借助 Golgi 开发的新型染色方法发现了神经元。此前，科学界存在两个阵营：神经元论者认为大脑由相互连接的信息处理细胞组成，而网状论者则将大脑视为连续不间断的纤维网络。

1936 年，图灵为“智能”概念的进一步揭秘做出了重要贡献，并证明了关于机器可计算性的相关论断，这大致标志着“人工智能”领域的开端。1943 年，McCulloch 和 Pitts 首次引入了非常简单的离散数学神经元模型，并随后证明了其通用性。1949 年，心理学家 Hebb 提出生物神经网络通过其相互作用（突触）的强度来存储信息的观点，学习被定义为突触的修改，Hebb 还为此提出了具体建议。1958 年，Rosenblatt 定义了一种学习规则，基于此，McCulloch - Pitts 神经元根据输入 - 输出关系的示例更新其相互作用强度，他们将其系统称为感知器，并证明了感知器收敛定理。

1969 年，Minsky 和 Papert 对感知器的潜力和限制进行了全面的数学分析，表明单个感知器无法完成所有信息处理任务，一些任务需要多层感知器，但当时还没有已知的学习规则。这似乎抑制了当时对神经网络研究的热情，使注意力暂时从自然和合成学习机器的研究转向基于规则的人工智能领域，神经网络计算在约 20 年里不再流行。

不过，在这期间仍有进展。1974 年，Little 将磁系统统计物理学的概念（如温度）引入循环神经网络的研究，这建立在 1955 年 Cragg 和 Temperley 的早期工作基础上。1952 年，Hodgkin 和 Huxley 发现了