5、深度学习中的预定义函数、操作及卷积神经网络详解

深度学习中的预定义函数、操作及卷积神经网络详解

1. 预定义激活函数概述

激活函数在神经网络中起着至关重要的作用，常见的激活函数有Sigmoid、线性函数、双曲正切函数（Hyperbolic tangent）和ReLU。这些函数在神经网络的不同层中使用，能够引入非线性特性，帮助网络学习更复杂的模式。

2. 损失函数概述

损失函数（也称为目标函数或优化得分函数）可以分为以下四类：
| 损失函数类型 | 具体函数 | 说明 |
| — | — | — |
| 准确率（Accuracy） | binary_accuracy、categorical_accuracy、sparse_categorical_accuracy、top_k_categorical_accuracy | 用于分类问题，衡量预测结果的准确性 |
| 误差损失（Error loss） | mse、rmse、mae、mape、msle | 衡量预测值与实际观测值之间的差异 |
| 合页损失（Hinge loss） | hinge、squared hinge | 通常用于训练分类器 |
| 分类损失（Class loss） | binary cross-entropy、categorical cross-entropy | 用于计算分类问题的交叉熵 |

3. 评估指标概述

评估指标函数与目标函数类似，但评估指标的结果在训练模型时不被使用。

4. 优化器概述

优化器用于更新模型的参数，常见的优化器有SGD、RMSprop和Adam，后续还会介绍Adagrad和Adadelt