12、智能预测化学性质：GBDT与SVM模型的应用与优化

智能预测化学性质：GBDT与SVM模型的应用与优化

1. 变量定义与SVM模型构建

在进行模型构建之前，需要对相关变量进行明确的定义：
- (X) 代表自变量，(X = [x_1, \ldots, x_p] {n\times p})；
- (Y) 代表因变量，(Y = [y_1, \ldots, y_q] {n\times q})；
- (i) 表示样本数量，(i = 1, 2, \ldots, n)；
- (j) 表示样本维度，(j = 1, 2, \ldots, p)；
- (x_j) 表示样本在第 (j) 维度的均值；
- (x_{ij}) 表示第 (i) 个样本的第 (j) 维值；
- (x_{ij}^*) 表示第 (i) 个样本的第 (j) 维标准化值；
- (S_j) 表示样本在第 (j) 维度的标准差；
- (S_j^2) 表示样本在第 (j) 维度的方差。

基于结构风险最小化原则，引入松弛变量 ({\xi_i}_{i = 1}^l) 和 ({\xi_i^ }_{i = 1}^l)，以及拉格朗日乘子 (\alpha_i)，(\alpha_i^ )，(\eta_i)，(\eta_i^ )，得到SVM模型：
(\hat{y} = \omega^T x + b = \sum_{i = 1}^l (\alpha_i^ - \alpha_i) K(x_i, x_j) + b)
其中，(\omega) 代表权重系数，(b) 代表偏置项，(K(x_i, x_j)) 代表核函数。核函数能够将线性不可分的低维特征数据映射到高维空间