20、机器学习模型训练、调优与正则化实践

机器学习模型训练、调优与正则化实践

1. 特征处理与模型训练基础

在数据处理中，分桶列的输出如预期为 bin_n 形式，特征交叉列的输出则是 value1_value2 形式。这些拼接的值会由 BigQuery ML 进行独热编码，与之前在 scikit-learn 中的处理方式类似。

接下来可以使用之前编写的预处理数据的查询来训练线性回归模型。不过，如果先使用查询转换数据、保存结果，再用新表训练模型，在预测时必须执行相同的转换。而当不清楚独热编码的具体方式，也没有分桶端点时，这就变得很棘手。

为解决这个问题，BigQuery ML 提供了 TRANSFORM 子句，可将转换逻辑构建到模型中。 CREATE MODEL 语句的整体结构如下：

CREATE OR REPLACE MODEL `dataset.model_name`
TRANSFORM (<transformation_sql>)
OPTIONS (<model_options>)
AS SELECT …

其中， <transformation_sql> 是之前查询的 SELECT 部分，用于指定要使用的列和对这些列的转换。以下是使用 TRANSFORM 子句训练线性回归模型的 SQL 语句：