深度学习--神经网络入门知识点

深度学习–神经网络入门知识点

线性分类-得分：

引入权重矩阵，进行线性映射,构造得分函数。

实例：

SVM损失函数:关键损失(hinge loss)：

对不同的权重参数矩阵进行效果的评估，以确定分类效果最好的权重矩阵。

个体样本的损失评估：

全体样本的平均损失评估：

正则化惩罚项：

当存在不同的权重参数矩阵获得相同的较好分类效果时，对权重参数进行惩罚。

惩罚原则：对分布集中不均匀的权重参数矩阵的惩罚力度较大，而对分布较为分散的权重参数矩阵的惩罚力度较小。

如果这里将R(W)设为W^2,则得到下面的最终损失式：

Softmax分类器-概率转换：

通过sigmoid函数将SVM得分值映射为概率值，而通过概率区间的划分可以进行分类操作。

Softmax函数：
**Softmax损失惩罚函数：交叉熵损失（cross-entropy loss）：

损失函数示意图：

正确项概率↓，损失惩罚项值↑。

实例：

最优化流程：

整体结构：

神经网络结构特点：

1.层次结构：

2.非线性结构：

基础的结构如下：

01.激活函数ReLu max()与sigmoid：

ReLu max()的图像：

sigmoid函数的图像：

注：

当神经网络层次结构较为复杂时，sigmoid函数的导函数趋于饱和近似于0，反向递归求极值时不易收敛。通常采用ReLu max(0,x)激活函数。

02.数据预处理：

均值化和归一化操作如图：

注：

均值化可使得数据分布以原点为中心，而归一化则压缩统一数据点的范围。

03.神经元映射的参数初始化：

注：

权重矩阵的初始化，采用随机数初始化。

参数b通常采用赋值为0作为初始化。

04.神经元的选择传播—过拟合风险：

解决方案：

对不同层次的神经元进行随机选择的情况下对训练集训练，然后采用增加训练次数的方法减小神经元数降低导致精度降低的精度误差。