38、机器学习模型性能提升与可扩展技术探索

机器学习模型性能提升与可扩展技术探索

1. 模型性能提升实验

在一次实验中，使用随机森林（randomForest）得到了接近 63.7% 的准确率，这个准确率与广义线性模型（glm）相近，但略低。因此，在本次实验中，使用广义线性模型进行堆叠（stacking）效果最佳。同时需要强调的是，某些方法之间的相关性较高，将它们加入堆叠并不会提高模型的准确率。

2. 贝叶斯优化：高级机器学习调参技术

在机器学习中，超参数调优起着至关重要的作用。如今，数据科学家在将最终模型投入生产之前，都会注重对参数进行调优。贝叶斯优化就是一种重要的优化技术。

2.1 贝叶斯优化原理

贝叶斯优化是一种在无需导数的情况下，为黑盒函数（将模型评估指标视为超参数的函数）寻找全局最优解的方法。

2.2 实验步骤

1. 数据准备 ：

setwd("C:/Personal/Machine Learning/Chapter 8/");
library(caret)
library(randomForest)
library(class)
library(ipred)
library(GPfit)
# 加载数据集
House_price <- read.csv("House Sale Price Dataset.csv", header = TRUE)
dataset <- na.omit(House_price)
# 创建 10K 记录的样本
set.seed(917);
rand_ct