深度学习and机器学习and神经网络——基础概念集锦

深度学习and机器学习and神经网络——基础概念集锦

神经网络结构

神经网络结构：

 

神经元

它是神经网络的基本单位。它获得一定数量的输入和一个偏置值。当信号（值）到达时会乘以一个权值。如果神经元有4个输入，那么就有4个权值，权重可以在训练时调整。

连接

 将一个神经元连接到另一层或同一层的另一个神经元。连接伴随着与之相关联的权值。训练的目标是更新此权值以减少损失（即错误）。

偏置（偏移）

 它是神经元的额外输入，它始终为1，并具有自己的连接权重。这确保即使所有的输入都为空（全部为0），神经元也会激活。

激活功能（传递函数）

激活函数用于将非线性引入神经网络。它会将值缩小到较小的范围内。Sigmoid激活函数的压缩范围为0到1之间。在深度学习中有许多激活函数可用，ReLU，SeLU和TanH均优于Sigmoid激活函数。小亮这里还想多说几句：关于激活函数为什么要引入激活函数呢？其实，上面的z已经是一个计算结果了，但是呢它不是我们最终想要的结果！！！上面的z有可能是0到1的一个数字，也可以是任意一个可能大于0或者小于0的整数，但是呢我们一般用神经网络是想解决分类问题，大多数时候，我们需要输出一个0或者1，代表是或者否，那么如何处理呢？如果大于0，我们就把它作为1，如果小于0，我们就把它输出为0，这是最简单的传递函数的一种用法，我们可以把它看作格式化输出结果，将结果变成我们可以使用的一种符号或者数字。

输入层 

神经网络中的第一层。它需要输入信号（值）并将它们传递到下一层。它不对输入信号（值）做任何操作，并且没有关联的权重和偏置值。在我们的网络中，我们有4个输入信号x1，x2，x3，x4。

       Input Shape ：它是我们传递给输入层的输入矩阵形状。我们网络的输入层有4个神经元，它期望1个样本的4个值。如果我们一次只提供一个样本，我们网络的期望输入形状是（1,4,1）。如果我们提供100个样品，则输入形状将为（100,4,1）。不同的库期望形状的格式是不同的。

隐藏层

隐藏层具有对输入数据应用不同变换的神经元（节点）。一个隐藏层是垂直排列的神经元的集合（Representation）。在我们给出的图像中有5个隐藏层。在我们的网络中，第一隐层有4个神经元（节点），第2层有5个神经元，第3层有6个神经元，第4层有4个，第5层有3个神经元。最后一个隐藏层将值传递给输出层。隐藏层中的每个神经元都与下一层的每一个神经元有连接，因此我们有一个完全连接的隐藏层。