8、深度学习基础：特征学习与优势解析

深度学习基础：特征学习与优势解析

1. 深度学习的起源与特征学习基础

深度学习的概念可以追溯到类似提花织机的原理，它通过特征表示来定义现实。在深度学习中，神经网络并非简单地识别猫或松鼠，而是理解它们各自的特征，并利用这些特征进行设计。例如，若使用提花织机设计猫形状的织布图案，需要使用带有类似猫胡须和优雅细长身体的穿孔卡片；若设计松鼠图案，则需要能织出毛茸茸尾巴的穿孔卡片。

一个学习输出基本表示的深度网络可以根据其假设进行分类。如果没有毛茸茸的尾巴，那么它可能不是松鼠而是猫。这种学习方式使网络学习的信息量更加完整和稳健。通过学习生成模型（从技术上讲，是学习联合概率 p(x,y) 而非简单的 p(y|x)），网络对噪声的敏感度大大降低，即使场景中有其他物体或物体部分被遮挡，也能识别图像，而且深度神经网络能够自动完成这些任务。

2. 伊辛模型与神经网络权重

伊辛模型由物理学家威廉·楞次（Wilhelm Lenz）在 1920 年发明，并交给他的学生恩斯特·伊辛（Ernst Ising）研究。该模型由可以处于两种状态（正或负）的离散变量组成，代表磁偶极子。虽然伊辛模型并非直接用于深度学习，但它是帮助我们理解深度神经网络架构调优基本内部机制的一个很好的物理示例，尤其有助于理解表示的概念。

在神经网络中，神经元之间连接的权重至关重要，因为正是这些权重使网络能够学习。给定一个固定输入，它会根据连接权重传播到下一层，并设置下一层神经元的内部状态。然后，这些神经元会触发并通过新的连接将信息传递到下一层，权重是网络中唯一的变量。

一般来说，如果激活函数是简单的阈值函数，较大的正权重会使两个神经元倾向于一起触发。唐纳德·赫布（Donald