Coursera机器学习-第七周-Support Vector Machine

最新推荐文章于 2023-04-12 18:57:05 发布

原创

最新推荐文章于 2023-04-12 18:57:05 发布 · 6.6k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #SVM #核函数 #kernel

本文详细介绍了支持向量机（SVM）作为大型边距分类器的工作原理，包括其优化目标、参数C的影响和核函数的数学背景。SVM通过最大化决策边界的间距来提高模型的鲁棒性。核函数是解决线性不可分问题的关键，例如高斯核函数（RBF）。在实践中，SVM的选择取决于数据集的规模和特征，与其他模型如逻辑回归和神经网络相比，SVM在特定情况下表现出优势。

Large Margin Classification

支持向量机(Support vector machine)通常用在机器学习 (Machine learning)。是一种监督式学习 (Supervised Learning)的方法，主要用在统计分类 (Classification)问题和回归分析 (Regression)问题上。

支持向量机属于一般化线性分类器，也可以被认为是提克洛夫规范化（Tikhonov Regularization）方法的一个特例。这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区，因此支持向量机也被称为最大边缘区分类器。现在多简称为SVM。

Optimization Objective
先来回顾逻辑回归函数：
这里写图片描述

由图上可知：

y = 1, h θ (x) \approx 1, θ T x ≫ 0

$y=1,h_{\theta}(x)\approx1, \theta^{T}x \gg0$

y = 0, h θ (x) \approx 0, θ T x ≪ 0

$y=0,h_{\theta}(x)\approx0, \theta^{T}x \ll0$

Logistic Regression Cost Function:
这里写图片描述
ps:这是对于一个样本点的cost Function,所以没有除以m

左图：红色线描述的是新的代价函数的，记为 $cost_{1}(z)$
右图：红色线描述的是新的代价函数的，记为 $cost_{0}(z)$
这里的下标是指在代价函数中对应的 y=1 和 y=0 的情况
这里写图片描述
构建SVM的代价函数 $J(\theta)$ :

这个代价函数是由logistic regression变化过来的,只需将

同时乘以m，除以 $\lambda$ 即可得到SVM的代价函数。