JN_rainbow的博客

牛顿法和拟牛顿法是求解无约束最优化的常用方法，有收敛速度快的优点. 牛顿法属于迭代算法，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算复杂. 拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵，简化了这个过程. 牛顿法 对于无约束优化 min⁡x∈Rnf(x) \min_{x\in R^n} f(x) x∈Rnmin​f(x) x∗x^*x∗是目标的极小值点. 假设f(x)f(x)f(x)有二阶连续偏导数...

拉格朗日对偶性 在机器学习中，我们经常会遇到给定某些约束条件求解某个函数最大值或最小值的情况，称之为约束最优化，通常的做法是利用拉格朗日对偶性将原始问题转化为对偶问题，通过解对偶问题进而得到原始问题的解. 在机器学习的很多方法中都有用到此方法，如最大熵模型和SVM. 原始问题 我们假设f(x),ci(x),h(x)f(x),c_i(x),h_(x)f(x),ci​(x),h(​x)是定义在RnR^...