深度学习知识二

（1）前馈神经网络：各神经元从输入层开始，接收前一级输入， 并输入到下一级，直到输出层。整个网络中无反馈，可用一个有向无环图来表示。包括两种：反向传播网络、RBF径向基函数神经网络。神经网络本身就是有很多种设计模式，并且会在不同的模式下产生不同的训练效果和运用特点。

（2）线性回归的训练：机器学习就是机器通过对观测到的事物进行归纳，进而总结出它们之间的规律、关系一类。

（3）样本。

（4）牛顿法：迭代法求根。

（5）导数概念：变化率。

（6）梯度下降法：凸函数问题。多个方向求偏导概念。

（7）损失函数：具有三大特点：恒非负、误差越小函数值越小、收敛快。

（8）神经网络训练：准备样本、清洗数据、正式训练、Loss函数求偏导然后梯度下降法迭代求解每个参数的值。在商用的框架中tensorflow会用很多技巧来寻找在整个向量空间中拥有极小值点的参数向量。

（9）过拟合问题：无法进行逆向研究、学习样本中的噪声或者特例信息，这是极为糟糕的事情。最好的方法：就是增加大量样本数据，理论上越多越好。