深度理解机器学习12-卷积神经网络

卷积神经网络

·描述CNN在神经科学中的启发。·描述卷积运算。·描述分类任务的基本CNN结构。·为图像和文本分类任务实现简单的CNN。·实现CNN对文本进行情感分析。

神经网络是一个广阔的领域，从生物系统，特别是大脑中借鉴了很多东西。神经科学的进步直接影响了对神经网络的研究。CNN的灵感来自神经科学家D.H.Hubel与T.N.Wiesel。他们的研究集中在哺乳动物的视觉皮层，这是大脑中负责视觉的部分。通过他们在20世纪60年代的研究，他们发现视觉皮层由多层神经元组成。此外，这些层以分层结构排列。这种层次从简单到超复杂的神经元不等。他们还提出了“感受野”的概念，即特定刺激激活或激发神经元的空间，具有一定程度的空间不变性。空间或平移不变性允许动物检测物体，不管它们是旋转、缩放、变换还是部分模糊。

CNN是包含一个或多个“卷积”层的神经网络的子集。典型的神经网络是全连接的，这意味着每个神经元都连接到下一层的每个神经元。当处理诸如图像、声音等高维数据时，典型的神经网络速度很慢，并且由于学习了太多的权重而倾向于溢出。卷积层通过将神经元连接到较低层的输入区域来解决这个问题

理解CNN的架构

特征提取

从概念上来说，它可以被解释为模型试图了解哪些特性将一个类与另一个类区分开来。在图像分类任务中，这些特征可能包括独特的形状和颜色。

1.卷积

卷积是将卷积神经网络与其他神经网络区分开来的一种运算。卷积运算不是机器学习独有的。它被应用于许多其他领域，如电气工程和信号处理。

2.ReLU激活函数

机器学习中被广泛使用。它们对于引入非线性和允许模型学习非线性函数非常有用。在这种特殊情况下，我们应用了修正线性单元（Rectified Linear Unit，ReLU），它用零代替所有负值

3.池化

池化是一个下采样过程，涉及从高维空间到低维空间的降维。在机器学习中，池化被用作降低层的空间复杂性的一种方法。它允许学习更少的权重，从而加快训练时间。

随机失活

正则是将系数约束为零的过程。正则化可以概括为用于惩罚学习系数的技术，使得它们趋向于零。随机失活是一种常见的正则化技术，通过在前向和后向过程中随机“失活”一些神经元来应用。为了实现随机失活，我们将神经元被失活的概率指定为参数。通过随机失活神经元，我们确保模型能够更好地推广，因此更加灵活。