qq_17853613的博客

最优化技术——阅读报告梯度下降——从批量下降到Nesterov加速法如今，在神经网络魔性的训练过程中梯度下降被广泛的使用，它主要用于权重的更新，即对参数向某一方向进行更新和调整，来最小化损失函数。其主要原理是：通过寻找最小值，控制方差，更新模型参数，最终使模型收敛。**什么是梯度？**梯度是一个向量。函数在各个方向的斜率是方向导数，而斜率最大的方向是梯度，梯度的方向方向导数变化最快的方向。传统的梯度下降法对模型进行多次迭代，在迭代的过程中对模型参数进行更新，更新过程如下：θ=θ−α∂J(θ)∂

最优化技术——牛顿法没错，到期末了，我又开始学最优化了参考目录牛顿法与拟牛顿法学习笔记（一）牛顿法解决的问题解决的是无约束的极小化问题，用数学语言描述如下：minxf(x)(0)\mathop{min}\limits_{x}f(x) \tag{0}xmin​f(x)(0)简单一维牛顿法从现有极小值估计点出发，对f(x)做泰勒展开，进而找到极小值的下一个估计值。设xkx_kxk​是当前极小值的估计值，有：φ(x)=f(xk)+f’(xk)(x−xk)+12f’’(xk)(x−xk)2

最优化技术——线性规划线性规划基本概念线性规划问题就是在一组线性约束条件下，求解目标函数最优解的问题标准形式线性规划问题的标准形式：目标函数求最大值所有约束条件均由等式表示每个约束条件右端常数常为非负值所有决策变量为非负值改造方法所有的情况与改造方法目标函数求最小值则应该改为求最大值：方法——添加负号：minF=Σcjxj→maxF=−Σcjxj min F ...