机器学习 李宏毅 L34-Structured Learning-SVM

Inference的求解

对于不同的问题，存在不同的方法去求解前一讲的最优化问题。如下图所示：

Non-separable case

由于数据不可分，因此权重不能将数据进行分开，但是对于同一类训练数据，不同的权重矩阵仍然能够得到不同的输出，因此仍然有好坏之分。
接下来，定义一个cost function去衡量权重矩阵w的性能，最优化该函数就可以得到较好的w。对于每一个训练数据，衡量不同的y与最佳的y对应特征函数输出的最大值。

如何获得上述优化公式的梯度（SGD），可以采用cutting plane方法。

如何考虑Errors的差异性

由于上述方法对于错误是一视同仁的，没有考虑错误答案的可接受程度，以下可以考虑不同错误情况的影响
这里重新定义误差函数，$\Delta(\hat{y},y)$，如下所示：

则loss function会变化，这里加入相似项，从而区分不同的误差评级的情况。

加上Regularization

加上regularization，使得权重矩阵的元素接近于0。

对于该的等式，求解方法如下，对于每一个迭代过程，选取任意一个训练数据，得到具有误差项的最佳y