16、模型评估与统计学习理论基础

模型评估与统计学习理论基础

1. 实践中的模型评估

在实际应用中，模型评估是非常重要的环节。以某个模型为例，它出现了10个假阴性和3个假阳性。尽管有两个模型报告的交叉验证误差相同，但通过查看它们的混淆矩阵可以发现，模型4稍微更平衡一些，在临床环境中可能是更优的选择。

1.1 使用R进行模型评估

下面我们将使用R语言对“wdbc.csv”文件进行类似的计算。在R中使用支持向量机模型，需要加载e1071包。

1.1.1 性能指标计算

以下是一个R脚本，它可以加载数据集、计算支持向量机模型并输出混淆矩阵：

> library(e1071)
> wdbc.df <- read.csv("wdbc.csv")
> svm.model <- svm(Diagnosis ~ .,
                   data=wdbc.df,
                   type="C-classification",
                   kernel="linear",
                   cost=1)
> predict <- fitted(svm.model)
> cm <- table(wdbc.df$Diagnosis,predict)
> cm
      predict
Diagnosis  B    M
        B  355  2
        M  5    207
> err <- (cm[1,2] + cm[2,1])/le