自适应的粒子群算法(APSO)优化支持向量机(SVM)

• 支持向量机SVM为什么需要优化？

  支持向量机是机器学习中常见的一种算法，特别是软间隔的支持向量机在解决非线性的分类与回归问题时特别常见，其相比硬间隔的支持向量机而言，增添了松弛变量，能够允许一些错误的发生，通过参数惩罚因子c衡量松弛变量，当惩罚因子变大，要求松弛变量的值尽量小，对错误的容忍度减小，但这就牵扯到一个参数c的如何选取，这与最终SVM模型的泛化能力挂钩
  同时我们知道在做非线性问题时，我们需要用到核技巧，将低维的线性不可分数据映射到高维直到线性可分，如果我们一直向高维进发，我们是有能力将数据完全线性划分开，但是这样就可能会引发过拟合，也会影响最终SVM模型的泛化能力，因此我们在做核技巧时也需考虑一些影响模型泛化能力的因素；我们通常使用的非线性核——高斯核(RBF)，而高斯核有一个参数gamma(简称g)，参数g主要是对低维的样本进行高度度映射，gamma值越大映射的维度越高，训练的结果越好，但是越容易引起过拟合，即泛化能力低，也就是我们之前提到的问题
  综上两个方面，我们有必要考虑SVM模型的泛化能力，毕竟我们需要的是一个具有鲁棒性的泛化模型；而不是一份训练集数据的"COPY"，因此我们需要考虑如上两个参数c与g的选取，那么如何选取这两个参数呢，我们采用的是一种随机局部搜索策略——粒子群算法

• 基础版的粒子群算法(PSO)

  粒子群算法通俗的解释，其实就是一堆的粒子，跟随着其中离目标最近的粒子在搜索空间中跑来跑去搜索；就像其中一个粒子说俺旁边就是目标，于是乎一大堆粒子都蜂拥而至向着靠近，离目标的远近通过适应度函数衡量，这也是所有智能群算法的套路，用到的公式如下：