25、机器学习中的可重复性设计模式解析

机器学习中的可重复性设计模式解析

1. 引言

在机器学习领域，可重复性是一个关键问题。不同的设计模式可以解决可重复性的不同方面，如数据准备、数据分割、模式匹配、工作流管理、特征存储和窗口推理等。本文将重点介绍两种设计模式：Transform设计模式和Repeatable Splitting设计模式。

2. Transform设计模式

2.1 问题描述

机器学习模型的输入通常不是模型计算中使用的特征。例如，在文本分类模型中，输入是原始文本，而特征是文本的数值嵌入表示。以下是一个使用BigQuery ML预测伦敦自行车骑行时长的模型示例：

CREATE OR REPLACE MODEL ch09eu.bicycle_model
OPTIONS(input_label_cols=['duration'], 
        model_type='linear_reg')
AS
SELECT 
 duration
 , start_station_name
 , CAST(EXTRACT(dayofweek from start_date) AS STRING)
 as dayofweek
 , CAST(EXTRACT(hour from start_date) AS STRING)
 as hourofday
FROM 
 `bigquery-public-data.london_bicycles.cycle_hire`

这个模型有三个特征（ start_station_name 、 dayofweek