另一个角度来看：支持向量机(SVM)

2014.08.31 

注意：如果使用t={0,1}，那么决策边界应该是 wx+w0=0.5，其他类推

不再对文章做出修改

此文，记述数月前，看PRML第四章-线性分类模型时的思考。

此模型得到的解析解为：

可以看到：标签信息影响最后的参数的值，进而影响判别边界，接着会对预测产生影响。

示例：可以看到相同的数据，使用不同的标签信息，得到不同的判别边界。

训练完参数，使用其做预测，那么：不同的标签选择+各个类的点数Ni，就会有不同的判别边界，从而影响预测。

如预测下图三个*点是正类<+>还是负类<o>：

那么什么样的标签是好的呢？<对预测数据，得到的判别“合理”>

从判别边界来看，应该让判别边界“居中”，那么新来的预测点在靠近判别边界的地方，也能得到“合理”的判断。

由此可以看到：SVM最大边际的思想！！！

当时，在这个地方思考了两三天，推导了部分边际的内容。觉得这个问题应该有人做过，就继续往下看了，后来看到SVM，觉得不谋而合了。

付代码：

clear, close all, clc
x0 = [1 4]';
x1 = [5 1]';
randn('seed',1)
N0 = 20; N1 = 40;
X0 = repmat(x0,1,N0) + rand(2,N0);
X1 = repmat(x1,1,N1) + rand(2,N1);
X = [X0 X1]';
X = [ones(N0+N1,1) X];

plot(X0(1,:),X0(2,:), 'ko', 'MarkerFaceColor', 'y', 'MarkerSize', 7);
hold on
plot(X1(1,:),X1(2,:), 'k+','LineWidth', 2, 'MarkerSize', 7);
axis([0 6 -3 8])

%% 1
T0 = zeros(N0,1);T1 = ones(N1,1);T = [T0;T1];
w = inv(X'*X)*X'*T;
k = -w(2)/w(3); b = -w(1)/w(3);
h = refline(k,b); %已知斜率w 截距b 画直线
set(h, 'LineWidth', 1.5),text(1,k+b-0.3, 't=\{0,+1\}')
axis([0 6 -3 8])
hold on

%% 2
T0 = -ones(N0,1);T1 = ones(N1,1);T = [T0;T1];
w = inv(X'*X)*X'*T;
k = -w(2)/w(3); b = -w(1)/w(3);
h = refline(k,b); %已知斜率w 截距b 画直线
set(h, 'LineWidth', 1.5, 'Color', 'r'),text(2,k*2+b, 't=\{-1,+1\}')
axis([0 6 -3 8])

%% 3
T0 = (N0+N1)/N0*ones(N0,1);T1 = -(N0+N1)/N1*ones(N1,1);T = [T0;T1];
w = inv(X'*X)*X'*T;
k = -w(2)/w(3); b = -w(1)/w(3);
h = refline(k,b); %已知斜率w 截距b 画直线
set(h, 'LineWidth', 1.5, 'Color', 'g'),text(3,k*3+b, 't=\{+N/N0,-N/N1\}')
axis([0 6 -3 8])

hold on 
plot(2, 2, 'r*',3,2, 'b*', 4, 1, 'c*')

学习SVM的一个好的中文资料 李航著的《统计学习方法》第七章；讲得很好、很到位；列了不少参考资料。

+维基