4、高性能机器学习中的数据处理与模型选择

高性能机器学习中的数据处理与模型选择

1. 核函数与模型选择

在机器学习中，核函数的选择对模型性能有重要影响。例如，3 次多项式核函数在二维空间中看起来像一条三次曲线，它能带来稍好的拟合效果。下面是计算其交叉验证得分的代码：

svc_poly_scores = cross_val_score(svc_clf, X_train, y_train, cv=4)
svc_poly_scores.mean()

其平均得分是 0.95906432748538006 。不过，与线性核函数相比，它在整个欧几里得空间中的行为较难向他人解释。线性核函数在所有欧几里得空间中行为一致。

在模型选择时，我们可能会遇到“黑箱”与“非黑箱”的情况。为了提高效率，我们可能不会深入研究使用的分类算法。比如在比较 SVC 和逻辑回归时，我们选择了支持向量机（SVM）。在做出选择前，这两种算法对我们来说都是“黑箱”，因为我们不了解其内部细节。一旦决定专注于 SVM，我们就可以计算分离超平面的系数、优化 SVM 的超参数、将 SVM 应用于大数据等。由于 SVM 的卓越性能，我们值得为其投入时间。

2. 模型可解释性

不同的机器学习算法可解释性不同。有些算法更容易理解，也更容易向他人解释。例如，线性回归广为人知，易于理解，也便于向公司的潜在投资者解释。而 SVM 则更难完全理解。

如果 SVM 在特定数据集上非常有效，建议尝试提高自己对 SVM 在该特定问题上下文中的可解释性。也可以考虑将不同算法进行融合，比如将线性回归作为 SVM 的输入。不过，这要根据