opencv ml模块 SVM使用笔记

opencv Modules SVM使用笔记

写在前面：

最近在完成一个项目时，提取出的样本数据较大，自己也没有良好的处理数据的能力，就想着利用现成的 SVM对数据进行分类。

查了很多资料，对SVM的大致原理有点了解，网络上也有开源的LibSvm，可是在没有完全理解SVM原理前，阅读和修改源码有些难度。而opencv恰好有一个Machine Learning模块，囊括了大多数机器学习的算法，而SVM也在其中。

这篇笔记不包含SVM算法的具体原理，只是对opencv中的SVM使用方法做一点拙劣的笔记。下面开始：

SVM是什么？
SVM：Support Vector Machine,即支持向量机。通过Wiki，有个大体的认识支持向量机

源码阅读
源代码来自Introduction to Support Vector Machines，opencv3.1.0的官方网站。自己做了一些注释。

#include <iostream>
#include <opencv2/core.hpp>
#include <opencv2/imgproc.hpp>
#include "opencv2/imgcodecs.hpp"
#include <opencv2/highgui.hpp>
#include <opencv2/ml.hpp>               //ml模块
#define NTRAINING_SAMPLES   100         // 每类的训练样本
#define FRAC_LINEAR_SEP     0.9f        // Fraction of samples which compose the linear separable part
using namespace cv;
using namespace cv::ml;                //ml命名空间
using namespace std;



int main()
{
    const int WIDTH = 512, HEIGHT = 512;
    Mat I = Mat::zeros(HEIGHT, WIDTH, CV_8UC3);

    //---------- 1. 随机生成训练数据（二维数据，超平面为二维） ---

    //训练200个样本，每个样本为2维向量
    Mat trainData(2 * NTRAINING_SAMPLES, 2, CV_32FC1);            
    //200*1，用以标注样本类别                
    Mat labels(2 * NTRAINING_SAMPLES, 1, CV_32SC1);                       

    RNG rng(100); // 随机数生成类        

                  // 设置数据中线性可分部分
    int nLinearSamples = (int)(FRAC_LINEAR_SEP * NTRAINING_SAMPLES);
    // 为类别1生成随机数
    Mat trainClass = trainData.rowRange(0, nLinearSamples);
    // x坐标范围为[0，0.4*WIDTH]
    Mat c = trainClass.colRange(0, 1);
    rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(0.4 * WIDTH));
    // y坐标范围为[0，WIDTH）
    c = trainClass.colRange(1, 2);
    rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));
    // 为类别2生成随机数
    trainClass = trainData.rowRange(2 * NTRAINING_SAMPLES - nLinearSamples, 2 * NTRAINING_SAMPLES);
    // x坐标范围为(0.4*WIDTH,1*WIDTH)
    c = trainClass.colRange(0, 1);
    rng.fill(c, RNG::UNIFORM, Scalar(0.6*WIDTH), Scalar(WIDTH));
    // y坐标范围为[0，1*HEIGHT]
    c = trainClass.colRange(1, 2);
    rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));
    //------------------ 设置训练数据中线性不可分部分 ---------------
    // 为类别1，2生成数据
    trainClass = trainData.rowRange(nLinearSamples, 2 * NTRAINING_SAMPLES - nLinearSamples);
    // x坐标范围是 [0.4*WIDTH, 0.6*WIDTH)
    c = trainClass.colRange(0, 1);
    rng.fill(c, RNG::UNIFORM, Scalar(0.4*WIDTH), Scalar(0.6*WIDTH));
    // y坐标范围是 [0, 1*HEIGHT)
    c = trainClass.colRange(1, 2);
    rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));
    //-------- 分类（为类别1，2设置标志）----------
    labels.rowRange(0, NTRAINING_SAMPLES).setTo(1);  // 类1
    labels.rowRange(NTRAINING_SAMPLES, 2 * NTRAINING_SAMPLES).setTo(2);  // 类2

//------------------ 2. 设置支持向量机范围 -------------
//------------------- 3. 训练SVM -------------------------
    cout << "Starting training process" << endl;
    Ptr<SVM> svm = SVM::create();   //声明SVM对象
    svm->setType(SVM::C_SVC);   //SVM模型选择                   
    svm->setC(0.2);             //惩罚因子设置(原始0.1)           
    svm->setKernel(SVM::LINEAR);   //核函数类型：线性                
    svm->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER, (int)1e7, 1e-6));        //迭代要求         
    svm->train(trainData, ROW_SAMPLE, labels);           //训练                                         
    cout << "Finished training process" << endl;

    //------------------------ 4. 显示结果区域 ----------------------------------------
    Vec3b green(0, 100, 0), blue(100, 0, 0);
    for (int i = 0; i < I.rows; ++i)
        for (int j = 0; j < I.cols; ++j)
        {   
             //Mat_<float>为Mat1f，一维向量v=（i,j） 
             Mat  = (Mat1f(1, 2) << i, j);
            //Mat sampleMat = (Mat_<float>(1, 2) << i, j); 

            //判别是哪一类     

            if (response == 1)    I.at<Vec3b>(j, i) = green;   
            else if (response == 2)    I.at<Vec3b>(j, i) = blue;
        }
    //----------------------- 5. 显示训练数据-------------------------------

    int thick = -1;
    int lineType = 8;
    float px, py;
    // 类 1
    for (int i = 0; i < NTRAINING_SAMPLES; ++i)
    {
        px = trainData.at<float>(i, 0);       
        py = trainData.at<float>(i, 1);    
        circle(I, Point((int)px, (int)py), 3, Scalar(0, 255, 0), thick, lineType);
    }
    // 类2
    for (int i = NTRAINING_SAMPLES; i <2 * NTRAINING_SAMPLES; ++i)
    {
        px = trainData.at<float>(i, 0);
        py = trainData.at<float>(i, 1);
        circle(I, Point((int)px, (int)py), 3, Scalar(255, 0, 0), thick, lineType);
    }
    //------------------------- 6. 画出支持向量 ----------------------------
    thick = 2;
    lineType = 8;
    Mat sv = svm->getUncompressedSupportVectors();
    for (int i = 0; i < sv.rows; ++i)
    {
        const float* v = sv.ptr<float>(i);
        circle(I, Point((int)v[0], (int)v[1]), 6, Scalar(0, 0, 0), thick, lineType);
    }
    imwrite("result.png", I);                      // save the Image
    imshow("SVM for Non-Linear Training Data", I); // show it to the user
    waitKey(0);
}

运行环境是VS2015+opencv3.1.0。

思路阐述

以上代码通过core.hpp中的RNG随机数生成类，生成了200个二维向量作为训练数据，数值大小在[0,512)中，以便可以用一张图片表示，存储在一个200*2的Mat结构里。同时生成一个Mat的label，将x坐标在一定范围内点标识为类1，其余为类2。生成的训练数据二维可分，故超平面为二维平面内的直线。
下面通过创建一个SVM类，调用几个函数，设定参数，并训练数据。

    Ptr<SVM> svm = SVM::create();   //声明SVM对象
    svm->setType(SVM::C_SVC);   //SVM模型选择                   
    svm->setC(0.1);             //惩罚因子设置          
    svm->setKernel(SVM::LINEAR);   //核函数类型：线性                
    svm->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER,  
                   (int)1e7, 1e-6));        //迭代要求         
    svm->train(trainData, ROW_SAMPLE, labels);           //训练                                         
    cout << "Finished training process" << endl;

几个地方需要注意一下：

• 1.SVM类型选择：setType（SVM：：C_SVC)
  SVM模型类型枚举：
  enum { C_SVC, NU_SVC, ONE_CLASS, EPSILON_SVR, NU_SVR };
  如果只是用ml::SVM，完成简单的数据分类，则可以这个参数设置为C_SVC.

标志	作用
C_SVC	C表示惩罚因子，C越大表示对错误分类的惩罚越大
NU_SVC	和C_SVC类似（参数C的范围不同,C_SVC采用的是0到正无穷，NU_SVC是[0,1]。）
ONE_CLASS	需要类标号,用于支持向量的密度估计和聚类.
EPSILON_SVR	敏感损失函数，对样本点来说，存在着一个不为目标函数提供任何损失值的区域，即-带。
NU_SVR	由于EPSILON_SVR需要事先确定参数，然而在某些情况下选择合适的参数却不是一件容易的事情。而NU_SVR能够自动计算参数。

• 2.惩罚因子设置： svm->setC(0.1)
  ①大的C（惩罚因子）使得解决方案更小的误分类率和更小的间隔。考虑到在这种情况下，分类错误的代价是昂贵的。因为优化的目的是减小不同，更小的误分类率是被接受的
  ②小的C（惩罚因子）使得解决方案有更大的分类间隔和更大的误分类率。这种情况下，最小化没有考虑太多总和，因此它更注重于发现有更大间隔的高维空间。

• 3.选择核函数类型
  简要说一下，核函数在SVM的作用。
  SVM是一个二分类器，目的是找到一个平面，将已知的数据分为两类。以上代码已经实现了对二维空间中数据的分类，二维空间中的平面即为分类的直线（又叫做支持向量）。设想数据复杂一点，虽然维度还是三维，可是已经不能找到简单的平面来对数据进行分类。见图

  

  从人眼来看，很明显可以用一个圆来对两类数据进行分类，而SVM所定义的最佳分类平面在二维空间中是直线。所以核函数出现了，它能将二维空间变化到高维空间。现在将两个圆坐标变换到三维空间，经过简单的旋转变换，可以用平面对数据进行分类，可见下图（来自pluskid：下面的gif 动画，先用 Matlab 画出一张张图片，再用 Imagemagick 拼贴成）
  

  好了，回到opencv中的SVM核函数：
  enum {LINEAR, POLY, RBF,SIGMOID, PRECOMPUTED };
  LINEAR：线性核函数（linear kernel）
  POLY:多项式核函数（ploynomial kernel）
  RBF:径向机核函数(radical basis function)
  SIGMOID:神经元的非线性作用函数核函数(Sigmoid tanh)

  根据数据的特性选择不同核函数，进行SVM分类。

4.训练

svm->train(trainData, ROW_SAMPLE, labels);

trainData：训练数据
labels：数据类型几率

关于ROW_SAMPLE，见ml.hpp中的定义（添加注释）

enum SampleTypes
{    
    //每一行为一个样本数据
    ROW_SAMPLE = 0, //!< each training sample is a row of samples
   //每一列为一个样本数据
    COL_SAMPLE = 1  //!< each training sample occupies a column of samples
};

知道以上内容后，我们就可以利用opencv中的SVM进行简单的数据分类。
————–2017.3.8