一一

深度学习被戏称为“炼金师”，我们需要凭借经验对一些参数进行调试，其中在学习过程中梯度和学习率是比较重要的参数。下面我们首先介绍几种梯度下降法，然后再说明批处理大小与学习率之间的关系。GD（Gradient Descent）在整个训练集中计算当前的梯度，选定一个步长进行更新。GD的优点是，基于整个数据集得到的梯度，梯度估计相对较准，更新过程更准确。GD的缺点，一个是当训练集较大时，G...

为了方便推导，利用此网络进行BP网络的推导。STEP 1输入层到隐含层：神经元h1的输出o1:(此处用到激活函数)： , 隐含层到输出层：SETP 2计算总误差 (累加，这里只计算一个输出)隐含层到输出层的权值更新：其中利用 激活函数求导可得 *outh1令 = = *更新权值 =隐含层到隐含层的权值更新：...

支持向量机学习支持向量机需要有一定的线性模型，最优化的的基础。1.基础知识铺垫：线性回归：线性回归试图找到一条线，让每个点在Y方向上离线越接近越好。就是说，每个数据点做一条垂直的线相较于回归直线，这些线段长度的平方和最小就是最优化的函数。训练集：目标函数：   二次规划问题：  二次规划问题的一般形式为：其中，，d为纯量，G为n*n阶对称矩阵。易知二次规划的...