Mesip丶专栏

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种解决可分解凸优化问题的简单方法，尤其在解决大规模问题上卓有成效，利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题，然后并行求解每一个子问题，最后协调子问题的解得到原问题的全局解。

前言最优化算法在机器学习中扮演着重要的角色，很多的机器学习算法最终都会归结为如下的最优化问题minfJ(x):=λΩ(f)+Remp(f)\min_f J(x):=\lambda\Omega(f)+R_{emp}(f)以上就是结构风险最小化，其中Remp(f)R_{emp}(f)是期望风险。Remp(f):=1m∑i=1ml(f(xi),yi)R_{emp}(f):=\frac{1}{m}\s

牛顿方法牛顿方法是现在用的比较广泛的最优化算法之一，其特点是收敛速度较快，上一节的梯度下降和随机梯度下降都是一阶收敛，而牛顿方法是二阶收敛。 回忆高等数学里面介绍的二阶泰勒展开有Q(x)=f(x0)+∇f(x0)(x−x0)+(x−x0)22!∇2f(x0)Q(x)=f(x_0)+\nabla f(x_0)(x-x_0)+\frac{(x-x_0)^2}{2!}\nabla ^2f(x_0) 而

OWL-QN算法上一篇介绍的L-BFGS只能解平滑问题，但是对于非平滑问题比如机器学习中常见的带L1正则的问题就解决不了，因此微软提出一种基于L-BFGS的优化算法OWL-QN算法，QWL-QN算法最大的特点是可以解非平滑问题，并且收敛速度比L-BFGS要快。算法思想与伪梯度算法具体的思想是，把目标函数投影到各个象限上，然后在各个象限上单独求解，并且限制象限，这样比如说L1正则项如果投影并且限制在某

SSP模型是利用机器学习算法的容错性构建的一种并行计算模型，机器学习的容错性是指在误差容许的范围内，算法迭代计算过程中可以存在一定的误差。例如随机梯度下降算法，可以在每一次迭代过程中容许存在一定的噪音梯度，而前提是不影响算法的收敛性。在SSP 模型中，给定了一个时间窗口，并保证了两个线程维持在这个时间窗口内，这样使得误差保持在一定的范围，并且有理论收敛性的保证。

##前言隐马尔科夫模型是一种重要的概率图模型，也是自然语言处理中一种最为快速最为有效的模型，成功的解决了语音识别，机器翻译问题，最近转自然语言处理，所以对一些相关模型进行总结，以便日后工作中可以灵活使用去解决各类自然语言问题。...