18、机器学习中的特征工程与实践

机器学习中的特征工程与实践

1. 特征选择与LASSO方法

在机器学习模型构建中，特征选择是关键步骤。对于一个好的模型，某些指标会呈现出特定趋势。以LASSO方法为例，我们可以从 glmnet() 拟合模型中提取正则化因子。以下是具体操作步骤：
1. 打印最小的lambda - 正则化因子：

print(fit_logistic$lambda.min)
print(fit_logistic$lambda.1se)

运行上述代码后，我们得到 fit_logistic$lambda.min 的值为 0.003140939 ， fit_logistic$lambda.1se 的值为 0.03214848 。
2. 根据lambda最小值获取系数：

param <- coef(fit_logistic, s = "lambda.min")
param <- as.data.frame(as.matrix(param))
param$feature <- rownames(param)

3. 筛选出嵌入式方法建议的变量列表：

param_embeded <- param[param$`1` > 0, ]