深度学习之神经网络（2）

前馈神经网络 (Feedforward Neural Networks, FNN)

信息单向传播，从输入层到隐藏层，最后到输出层

也可以叫前向传播。它由一个或多个层组成，每一层都包含多个神经元，并且各层之间是前向连接的，即信息只能从前一层流向后一层，不会形成回路

损失函数 (Loss Function)

用于评估神经网络的预测与实际值之间的差异，用于指导网络的训练过程

代价函数（Cost Function）或损失函数（Loss Function）是深度学习模型中用于衡量模型预测值与真实值之间差异的函数，是深度学习模型中重要的一部分。而在不同的任务和模型可能会选择不同的代价函数。以下是几种常用的代价函数及其特点：

1. 均方误差（Mean Squared Error, MSE）：

• 数学表达式: $$\mathrm{MSE}=\frac{1}{N}\sum _{i=1}^N{\left(y_i-{\hat{y}}_i\right)}^2$$
• 求导形式: $$\frac{\partial \mathrm{MSE}}{\partial {\hat{y}}_i}=\frac{2}{N}\left({\hat{y}}_i-y_i\right)$$
• 应用场景：回归问题，如房价预测等。
• 优点：易于计算和理解，对异常值敏感。
• 缺点：对异常值敏感，可能导致梯度爆炸或梯度消失。

2. 交叉摘损失（Cross Entropy Loss）：
   一 二分类交叉熵:

• 数学表达式: $$\mathrm{CE}=-\frac{1}{N}\sum _{i=1}$$