Week7_2Program_Support Vector Machines编程解析

最新推荐文章于 2023-06-13 02:11:39 发布

原创最新推荐文章于 2023-06-13 02:11:39 发布 · 602 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

29 篇文章

订阅专栏

本文介绍了支持向量机(SVM)的编程实现，并详细解析了高斯核函数的应用及参数选择过程。此外，还探讨了如何利用SVM进行垃圾邮件分类，包括预处理电子邮件和特征提取等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Week7_2Program_Support Vector Machines编程解析

1. ex6 流程分析

1.1 plotData

按照ex6.m中的流程走一遍

2. 编程分析

2.0 计算公式

${{h}_{\theta }}\left( x \right)=\min\limits_{\theta} C\sum\limits_{i=1}^{m}\left[y^{(i)}cost_1(\theta^T x^{(i)})+(1-y^{(i)})cost_0(\theta^Tx^{(i)})\right]+\frac{1}{2}\sum\limits_{i=1}^{n}\theta_j^2$

2.1 Gaussian kernel 0 / 25

高斯核函数的计算公式:
$\begin{align*} \\& K \left( x, z \right) = \exp \left( - \dfrac{\| x - z \|^{2}}{2 \sigma^{2}} \right) \end{align*}$
在 gaussianKernel.m 中添加:

sim = exp(-sum((x1-x2).^2)/(2*sigma^2));

2.2 Parameters (C, sigma) for dataset 3 0 / 25

多用几组参数来进行测试:
ex7.pdf中给出了8个paramers

paramList = [0.01, 0.03, 0.1, 0.3,  1, 3, 10, 30];
results = [];

for C = paramList,
    for sigma = paramList,       
      model= svmTrain(X, y, C, @(x1, x2) gaussianKernel(x1, x2, sigma)); 
      pred = svmPredict(model, Xval);      
      testError = mean(double(pred ~= yval));      
      fprintf("C: %f\nsigma: %f\nerror: %f\n", C, sigma, testError);      
      results = [results; C, sigma, testError];      
    end
end
[minError, minIndex] = min(results(:,3));
C = results(minIndex,1);
sigma = results(minIndex,2);

3. 垃圾邮件分类

3.1 Email preprocessing 0 / 25

在 processEmail.m 中添加:

word_indices = [word_indices; find(ismember(vocabList, str))];

2.4 Email feature extraction 0 / 25

在 emailFeatures.m 中添加:

x(word_indices)=1;

3. 总结

1 Gaussian kernel 0 / 25
2 Parameters (C, sigma) for dataset 3 0 / 25
3 Email preprocessing 0 / 25
4 Email feature extraction 0 / 25