6、机器学习中的线性模型预测与特征选择-优快云博客

本文链接：https://blog.youkuaiyun.com/leaf8/article/details/152439045

机器学习中的线性模型预测与特征选择

在机器学习领域，预测定性响应是一个重要的任务。本文将介绍几种用于预测定性响应的方法，包括二次判别分析（QDA）、多元自适应回归样条（MARS），还会涉及模型选择的方法，如使用ROC曲线和AUC值进行评估，以及高级特征选择中的正则化方法。

二次判别分析（QDA）

QDA在训练数据和测试数据上的预测代码流程与线性判别分析（LDA）相似。以下是相关代码及结果：

# 训练数据预测
train.qda.probs <- predict(qda.fit)$posterior[, 2]
misClassError(trainY, train.qda.probs)
# [1] 0.0422
confusionMatrix(trainY, train.qda.probs)
#       0    1
# 0 287    5
# 1  15  167

# 测试数据预测
test.qda.probs <- predict(qda.fit, newdata = test)$posterior[, 2]
misClassError(testY, test.qda.probs)
# [1] 0.0526
confusionMatrix(testY, test.qda.probs)
#       0    1
# 0 132    1
# 1  10   66

从混淆矩阵可以看出，QDA在训练数据上的表现最差，在测试集上也有11个错误预测，特别是假阳性率较高。