统计学习方法（第二版） 第七章 拉格朗日对偶性

        在约束最优化问题中，常常利用拉格朗日对偶性(Lagrangeduality)将原始问题
转换为对偶问题，通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习
方法中，例如，最大熵模型与支持向量机。这里简要叙述拉格朗日对偶性的主要概念
和结果。

        这里就不解释了，没有看书懂的快，甚至没有基础会讲糊涂的，直接把书搬上来了方便大家看原理，网上的解释质量不一，还是看书上的吧。

一、原始问题

二、对偶问题

三、原问题和对偶问题的关系

---

总结

通过求解原问题的对偶问题优点有：

1. 对偶问题将原始问题中的约束转为了对偶问题中的等式约束

2. 方便核函数的引入

3. 改变了问题的复杂度。由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在对偶问题下，只与样本数量有关。