25、图像分类神经网络：从基础到优化

图像分类神经网络：从基础到优化

1. 反向传播算法改进

反向传播算法有许多改进版本，其中动量法是早期提出的改进之一。在每一步中，会记录梯度值，下一步使用当前梯度值和上一步梯度值的线性组合：
[v_{t}=\mu v_{t - 1}+(1 - \mu)\nabla L(\theta_{t - 1})]
(\mu) 是用于额外算法调优的超参数。这种算法比原始版本更常见，因为它能在训练中取得更好的效果。

2. 损失函数

损失函数使神经网络训练简化为最优选择权重矩阵系数以最小化误差的过程。不同的任务需要不同的损失函数，且若使用反向传播方法训练网络，损失函数的可微性是重要特性。以下是一些常见的损失函数：
|损失函数|定义|应用场景|优缺点|
| ---- | ---- | ---- | ---- |
|均方误差（MSE）|(MSE=\frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\hat{y} {i})^{2})|回归和分类任务|避免二分法导致的信息丢失，但对异常值敏感|
|均方对数误差（MSLE）|(MSLE=\frac{1}{n}\sum {i = 1}^{n}(\log(1 + y_{i})-\log(1+\hat{y} {i}))^{2})|预测和实际值都为大数时|惩罚低估多于高估|
|L2损失|(L2=\sum {i = 1}^{n}(y_{i}-\hat{y} {i})^{2})| | |
|平均绝对误差（MAE）|(MAE=\frac{1}{n}\sum {i = 1}^{n}\vert y_{i}-\hat