11、基于Keras的深度学习入门指南

基于Keras的深度学习入门指南

1. 激活函数

激活函数会对每个神经元的输入加权和应用非线性函数。常见的激活函数有Tanh、Sigmoid和ReLU（修正线性单元）。每个函数都能根据输入的加权和对输出值进行阈值处理。通常，我们会对特定层应用相同的激活函数，即该层的每个神经元都使用相同的激活函数。

一般来说，Tanh和ReLU常用于隐藏层，其中ReLU更为常见；Sigmoid主要用于输出层神经元，因为它能产生0到1之间的值，适用于分类问题。

2. 反向传播与梯度下降

神经网络的训练过程涉及到梯度下降和反向传播算法。在训练神经网络之前，需要准备好经过清洗和归一化的训练数据集，其中包含输入特征（Xs）和对应的预期输出（Ys），这些数据构成了机器学习领域所说的“地面真值”，模型的目标就是学习模式，以生成接近地面真值的结果。

反向传播训练神经网络的一般步骤如下：
1. 初始化权重 ：将权重值初始化为零或随机数，让所有数据点通过网络，预测数据集中每个X对应的Y。
2. 计算误差 ：将每个预测的Y值与预期结果（地面真值）进行比较，找出差异，基于此计算每个输出项的误差。
3. 建立成本函数 ：成本函数是网络中所有权重（包括各层的偏置权重）的函数，它能衡量模型预测与地面真值的差距。选择合适的成本函数对训练一个好的机器学习模型至关重要。
4. 选择成本函数 ：如果是预测数值，可使用平均绝对误差（MAE）或均方误差（MSE）作为成本函数；如果是预测类别，交叉熵是更合适