神经网络常用术语

神经网络常用术语

人工神经元

人工神经元是按照生物神经元的结构和工作原理构造出来的一个抽象的和简化了的模型。在神经网络中，神经元接收输入，处理它并产生输出:而这个输出被发送到其他神经元用于进一步处理， 或者作为最终输出进行输出。

权重

当输入进入神经元时，它会乘以一个权重。例如，如果一个神经元有两个输入，则每个输入都将具有分配给它的一个关联权重。神经元对权重进行随机初始化，并在模型训练过程中更新这些权重。假设输入为a,且与其相关联的权重为W,那么在通过节点后，输入变为a X W。注意：权重初始化不能全0（没用），也不能都是一个非0常数（反向传播只有一个方向，迭代速度太慢），要随机分布（如需每次随机相同，可以设置随机种子）。

偏置

除了权重之外，另一个被应用于输入的线性分量被称为偏置。它被加到权重与输入相乘的结果中。添加偏置的目的是改变权重与输入相乘所得结果的范围。假设偏置为b,则添加偏置后，结果将看起来像aXW+b。这是输入变换的最终线性分量。注意：偏置初始化可为0也可为常数

激活函数

激活函数的主要作用是加入非线性因素，以解决线性模型表达能力不足的问题。因为神经网络要求在数学上处处可微，所以所选取的激活函数要求其输入和输出也都是可微的。在神经网络中常用的激活函数有sigmoid、tanh、ReLU和softmax等。

神经网络

神经网络由相互联系的神经元构成。这些神经元有权重并在网络训练期间根据错误进行更新的偏差。激活函数将非线性变换置于线性组合，而这个线性组合稍后会生成输出。激活的神经元的组合会给出输出值。

输入层、输出层和隐藏层

输入层是接收输入的那一层，本质上是网络的第一层。而输出层是生成输出的那一层，也可以说是网络的最终层。处理层是网络中的隐藏层。这些隐藏层是对传入数据执行特定任务并将其生成的输出传递到下一层的那些层。 输入层和输出层是可见的，而中间层则是隐藏的。