14、神经网络与深度学习入门

神经网络与深度学习入门

1. 激活函数

在神经网络中，激活函数起着关键作用。其中，Softmax 回归的概率计算公式为：
[P_i = \frac{e^{x_i}}{\sum_{j=1}^{m} e^{x_j}}, i = 1,2,\cdots,m]
其雅可比矩阵 (J = [J_{ij}]) 可表示为：
[J_{ij} = \frac{\partial P_i}{\partial x_j} = P_i(\delta_{ij} - P_j), (i,j = 1,2,\cdots,m)]
这里的 (\delta_{ij}) 是克罗内克δ函数，当 (i = j) 时，(\delta_{ij} = 1)；当 (i \neq j) 时，(\delta_{ij} = 0)。

除了 Softmax 函数，研究人员还设计了其他激活函数，如自适应分段函数。在选择激活函数时，需要考虑多种因素，如问题类型、网络结构等。一般来说，ReLU、Leaky ReLU 和 Softmax 是最常用的激活函数。

2. 人工神经网络

单个神经元只能执行简单的开或关任务，而复杂函数可以通过相互连接的神经元或感知器网络来设计和执行。最常用的网络结构是分层结构，包括输入层、输出层和一个或多个隐藏层。

2.1 网络训练目标

构建神经网络时，需要使用训练数据集来估计网络系统的合适权重。训练的目标是找到一组合适的权重 (w_{ij})，使神经网络既能很好地拟合已知数据，又能对新输入进行准确预测。一个好的人工神经网络应能同时最小化拟合/学习误差和预测误差。

误差可以定义为所有 (N) 个输出神经元的计