qq_36867398的博客

(picture from CS231n)

标准梯度下降法梯度下降法是一种迭代算法，用于解无约束问题，每一步要解目标函数的梯度向量。一阶泰勒展开设f(x)f(x)f(x)具有一阶连续偏导数，若第k次的迭代值为x(k)x^{(k)}x(k),则在x(k)x^{(k)}x(k)处的一阶泰勒展开为f(x)=f(x(k))+gkT∗(x−x(k))f(x)=f(x^{(k)})+g_{k}^{T}*(x-x^{(k)})f(x)=f(x...

牛顿法和梯度下降法一样，都是解无约束优化问题，也是迭代算法，有收敛速度快的优点。每一步迭代都要求解目标函数的海塞矩阵，计算比较复杂，拟牛顿法通过正定矩阵来近似海塞矩阵的逆矩阵或海塞矩阵，简化了计算。...