神经网络基础

符号主义，一眼看出规律，找到精确的函数（线性函数）

联结主义：简化函数，寻找一个足够接近真实答案的近似解（线性函数）

伴随着有些规律无法使用线性规律进行解释，所以在原线性函数的外部加入激活函数构成g（f（x））从而引入非线性函数【激活函数只作用在线性变换上！g（f（g（f（x））））】

常用激活函数：

，

对于单个函数，由于其只能含有一个参数x，我们引入权重w与x点积、偏置b，使用多个参数、同时反复使用非线性关系逼近任意曲线

对于上述关系中所提到的反复使用，在神经网络中这一部分通常被隐藏不需要被感知，即叫做隐藏层

按照输入层、隐藏层、输出层的顺序通过输入x计算出结果y叫做前向传播

拟合好的w和b是较好的参数，判断是否好的依据为损失函数L（w，b） = 1/N(x_point-x_line)^2，即均方误差MSE

为了让MSE最小，简单来说使用求导即可，但是由于存在w，b两个参数，故需要求对两个参数的偏导数都为0从而进行求解，以上操作简称为线性回归

在含有多个参数的调整过程中，采用控制变量调整w和b，观察损失函数大小变化，向着损失函数变小的一侧进行调整

w变化一点使得损失函数变化的多少就是损失函数对w的偏导数（偏导数分身指的是损失函数增长最快的方向），控制变化快慢的位位学习率，偏导数构成的向量称为梯度，以上操作简称为梯度下降

偏导数的求导较为复杂，但是在同一个层中的激活函数较为简单，我们可以利用复合函数链式求导法则，从输出层（右）向输入层（左），将每个变化的程度相乘即可得到最初变化量对结果的影响，以上操作简称为反向传播

简单来说就是在原有的计算方式下多了一个修正的过程，完成这样一个正向传播和反向传播即完成了一次训练

一般来说，神经网络不是越大越好，过大的网络可能减小模型的泛化性，即在数据外的预测情况的表现，将原有数据的噪声也学会了，此时需要简化一下模型的复杂度或者增加训练的数据量。对于增加数据量这一操作，我们可以选取对训练数据及逆行旋转、对称、加噪声等方法，从而提高了模型的鲁棒性。

抑制参数的增加，在损失函数中加入函数本身的值，也就是参数w的增量超过了损失函数的减少量导致损失函数+参数本身的数值不减反增，不能达到是减少损失函数的作用