8、深度学习探索：历史、网络类型与应用

深度学习探索：历史、网络类型与应用

1. 深度学习的愿景与发展背景

我们期望一个多元背景和能力的人都能投身人工智能领域的世界，因为当下迫切需要多样性，且眼前的机遇巨大，不应被现有的限制所阻碍。对于人工智能开发者而言，理解底层技术及其强大应用原理固然重要；而商业利益相关者了解技术的选项和能力同样关键。毕竟，再复杂的事物都能被简单解释。

2. 深度学习简史

• 早期奠基（1943 - 1958）
  • 1943 年，Warren S. McCulloch 和 Walter Pitts 发表论文，通过结合算法创建基于人脑神经网络的计算机模型，建立数学与神经学的联系，模拟神经元信息传递。
  • 1958 年，Frank Rosenblatt 发表《The Perceptron: A perceiving and recognizing automaton》，被广泛视为神经网络的鼻祖，这是最早、最简单的人工神经网络（ANN）。
• 反向传播的发展（20 世纪 60 年代）
  • 这一时期，反向传播概念取得重大进展，即模型在训练数据集时从过往错误中学习。将受大脑神经元网络启发的数学模型与反向传播相结合，为通过过往迭代学习的人工神经网络奠定基础。
  • 许多人工神经网络以“前馈”方式工作，数据从输入层依次通过隐藏层到输出层，而反向传播使人工神经网络能够双向学习，减少每个节点的误差，提升性能。
• 反