神经网络（Neural Networks）

最新推荐文章于 2025-11-22 12:06:23 发布

原创

最新推荐文章于 2025-11-22 12:06:23 发布 · 6.1k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#deep learning #深度学习 #神经网络 #正反馈 #反向传播

本文介绍了神经网络的基础，包括正反馈、代价函数和反向传播。神经网络由多层模型叠加并使用非线性激活函数，使得其具有强大的表达能力。在训练过程中，通过正反馈计算神经元的激活，利用代价函数衡量模型性能，然后借助反向传播求解梯度以优化参数。在实际应用中，神经网络分为监督和非监督学习，如监督神经网络用于分类和回归问题，而稀疏自编码器是典型的非监督神经网络。

1.简介

一般的回归和分类方式是基于线性模型，也就是固定的非线性的基函数（basis function）的线性组合，形式如下：

其中，如果f（.）是非线性的激活函数（activation function），这就是一个分类模型；如果f（.）是恒等函数（identity），则是回归模型。

根据自己的认识，我认为神经网络就是多层这样的模型的叠加，并引入非线性的activation function，提高模型的整体能力（因为每一个隐藏层可以对上一层的输出进行非线性变换，因此深度神经网络拥有比“浅层”网络拥有更加优异的表达能力）。神经网络的计算量相比于其他的回归和分类模型比较大，在早期并没有受到研究者的重视，随机近几年计算机设备的性能提升从而受到广泛的关注，也诞生了新的领域Deep learning。

上图是简单的三层神经网络，其中，相邻层之间是全联通的（即下一层的输入是上一层所有结点的线性组合），当然也有不是全联通的网络，典型代表是卷积神经网络（CNN），CNN在计算机视觉领域取得比较的成果，由于图像的维度比较高，如果采用全联通结构会导致模型会有非常多的参数，使得模型变得非常复杂。另外，一般情况下hidden layer 的结点数目会比input layer和output layer的结点多（稀疏自动编码，是一种hidden layer的结点数比其他的小，而input layer 和 output layer的结点数相同）。

此外，神经网络也可以分为监督神经网络和非监督神经网络，我们比较熟悉的是监督神经网络，该模型可以处理分类，回归问题；非监督神经网络最典型的的就是稀疏自编码器（Sparse Autoencoder）。