29、深度学习基础：从感知机到神经网络的探索

深度学习基础：从感知机到神经网络的探索

1. 感知机的发现

数据科学编程往往涉及大量复杂的数学运算，其中部分数学理论已存在数百年，例如 1763 年出现的贝叶斯定理。感知机虽没有那么悠久的历史，但对于许多探索人工智能的人来说，它是一种机器学习的实现方式，也有观点认为它是深度学习的一种形式。

感知机是早期用于机器学习的线性算法之一，通过直线和平面将示例划分类别或进行值预测。在深入学习更高级的建模方法之前，了解感知机的历史十分必要。

1.1 感知机的功能

1957 年，康奈尔航空实验室的弗兰克·罗森布拉特（Frank Rosenblatt）在美国海军研究局的资助下发明了感知机。罗森布拉特是一位心理学家和人工智能领域的先驱，他希望创造一台能像人类一样通过试错学习的计算机。

最初，感知机并非单纯的软件，而是运行在专用硬件上的软件，可实现比当时其他计算机更快、更精确的复杂图像识别。罗森布拉特宣称感知机是一种新型计算机的雏形，它能够行走、说话、看、写，甚至自我复制并意识到自己的存在，这引发了极大的期望和争议。然而，感知机很快显示出其局限性，即使在图像识别方面也能力有限，这导致了第一次人工智能寒冬，连接主义也被暂时放弃，直到 20 世纪 80 年代才重新受到关注。

连接主义是一种基于神经科学和生物互联网络范例的机器学习方法，其根源可追溯到感知机。感知机是一种迭代算法，通过连续和反复的近似来确定向量 w（系数向量）的最佳值。向量 w 的创建过程并非真正的学习，而是创建一组与特定模型匹配的权重。

当感知机获得合适的系数向量时，它可以预测一个示例是否属于某个类别。例如，感知机最初的任务之一是判断从视觉传感器接收到的图