12、快速支持向量机实现与Vowpal Wabbit应用

快速支持向量机实现与Vowpal Wabbit应用

1. 支持向量机超参数选择

在支持向量机（SVM）的超参数选择上，尽管推荐使用分布函数，但也可以通过扩大列表中可选值的数量，来合理使用之前建议的超参数范围。例如，对于L1和L2正则化中的alpha，可以使用NumPy的 arange 函数，设置较小的步长，如 10.0**-np.arange(1, 7, step=0.1) ；或者使用 logspace 函数，并将 num 参数设置为较大的值，如 1.0/np.logspace(1,7,num=50) 。

2. SVM快速学习的其他替代方案

除了Scikit - learn包提供的用于核外学习的工具和算法外，还有一些免费软件中的有趣替代方案：
- Liblinear/SBM ：基于选择性块最小化，是原始库的一个分支 liblinear - cdblock 。它通过使用新的数据样本训练学习器，并将其与之前用于最小化的样本混合，能够在大量无法完全加载到内存的数据上拟合非线性SVM。
- SofiaML ：基于在线SVM优化算法Pegasos SVM，是一种在线SVM近似算法。
- LaSVM ：由Leon Bottou创建，同样是一种在线SVM近似算法。

这些解决方案都能处理稀疏数据，特别是文本数据，还能解决回归、分类和排序问题。但到目前为止