9、机器学习分类器之旅：从SVM到随机森林

机器学习分类器之旅：从SVM到随机森林

1. 支持向量机（SVM）相关实现

1.1 scikit - learn中的替代实现

在scikit - learn库中，之前使用的 LogisticRegression 类借助了LIBLINEAR库，这是由台湾大学开发的高度优化的C/C++库（http://www.csie.ntu.edu.tw/~cjlin/liblinear/ ）。同样，用于训练SVM的 SVC 类使用了LIBSVM，它是专门针对SVM的等效C/C++库（http://www.csie.ntu.edu.tw/~cjlin/libsvm/ ）。使用LIBLINEAR和LIBSVM相较于原生Python实现的优势在于，它们能极快地训练大量线性分类器。不过，当数据集过大无法全部载入计算机内存时，scikit - learn还通过 SGDClassifier 类提供了替代实现，该类还支持通过 partial_fit 方法进行在线学习。可以使用以下代码以默认参数初始化感知机、逻辑回归和SVM的SGD版本：

from sklearn.linear_model import SGDClassifier
ppn = SGDClassifier(loss='perceptron')
lr = SGDClassifier(loss='log')
svm = SGDClassifier(loss='hinge')

1.2 核SVM解决非线性问题