18、使用惩罚线性方法构建预测模型

使用惩罚线性方法构建预测模型

1. 交叉验证与模型性能评估

交叉验证能够为系统部署后的性能提供可靠的估计。若交叉验证显示的性能未达要求，就需采取措施改进。例如，可尝试在“多元回归：预测葡萄酒口感”中用到的基扩展方法。同时，查看误差较大的案例，判断是数据录入错误，还是可添加其他变量来解释这些严重错误。若误差满足问题需求，就可以在整个数据集上训练模型以进行部署。
以下是不同阈值下的混淆矩阵输出示例：

('Best Value of Misclassification Error = ', 0.22115384615384615)
('Best alpha for Misclassification Error = ', 0.017686244720179375)
('Best Value for AUC = ', 0.86867279650784812)
('Best alpha for AUC   =  ', 0.020334883589342503)
Confusion Matrices for Different Threshold Values
('Threshold Value =   ', 0.37952298245219962)
('TP = ', 48.0, 'FP = ', 5.0)
('FN = ', 63.0, 'TN = ', 92.0)
('Threshold Value =   ', -0.045503481125357965)
('TP = ', 85.0, 'FP = ', 20.0)
('FN = ', 26.0, 'TN = ', 77.0)
('Threshold Value =   ',