8、线性模型中的高级特征选择与更多分类技术

线性模型中的高级特征选择与更多分类技术

线性模型高级特征选择

在处理线性模型时，特征选择是提升模型性能的关键步骤。下面将介绍几种高级特征选择方法，包括LASSO、弹性网络（Elastic Net），并探讨交叉验证在其中的应用。

LASSO

LASSO（Least Absolute Shrinkage and Selection Operator）是一种有效的特征选择方法。在R中运行LASSO非常简单，只需将岭回归模型中的 alpha 参数从0改为1。以下是具体代码：

lasso <- glmnet(x, y, family = "gaussian", alpha = 1)
print(lasso)

运行上述代码后，会得到模型的输出，其中包含了不同 lambda 值下的自由度（Df）、偏差解释率（%Dev）和 lambda 值。模型构建过程在第69步停止，因为随着 lambda 的减小，偏差解释率不再提高。

为了找到特征数量较少的模型，我们观察发现当 lambda 约为0.045时，模型包含7个特征，而不是之前的8个。我们将这个 lambda 值用于测试集评估：

lasso.y <- predict(lasso, newx = newx, type = "response", s = 0.0