本文探讨了BFGS及其变种L-BFGS在处理大规模工程问题时的优势，特别是在逻辑回归场景中。同时介绍了ADMM作为一种加速批处理学习的有效手段，通过增加迭代复杂度来减少总迭代次数。
BFGS收敛速度很快。
工程上由于特征很多，并且各个特征情况不同，工程问题经常是病态的，难以短时间内用普通的一阶梯度法找到最优解。
在这种情况下，只能用二阶导的方法（Hession阵），要求Hession是正定的。
BFGS就是尽量保证Hession的正定性。
L-BFGS 解决BFGS在空间复杂度上存在的问题，所以在工程上对逻辑回归（最大熵）使用L-BFGS是必然的方法。
ADMM在分布式环境下加速 batch learning的方法。通过增加迭代的复杂度，从而减少迭代次数。
ADMM如何和逻辑回归结合
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
