26、数据分割与模式转换：提升机器学习模型性能的关键策略

数据分割与模式转换：提升机器学习模型性能的关键策略

1. 可重复分割数据集的方法

1.1 选择分割列

在进行数据分割时，首先要确定一个能捕捉行与行之间相关性的列。以航空公司延误数据集为例，日期列就是这样一个合适的选择。通过对该列使用哈希函数的最后几位来分割数据，能实现可重复的分割。

具体操作步骤如下：
1. 确定分割列：在航空公司延误数据集中，选择日期列。
2. 使用哈希函数：运用 Farm Fingerprint 哈希算法对日期列进行处理。
3. 分割数据：通过取模运算，将数据划分为训练集、验证集和测试集。

示例代码如下：

SELECT
  airline,
  departure_airport,
  departure_schedule,
  arrival_airport,
  arrival_delay
FROM
  `bigquery-samples`.airline_ontime_data.flights
WHERE
  ABS(MOD(FARM_FINGERPRINT(date), 10)) < 8 -- 80% for TRAIN

1.2 选择分割列的考虑因素

选择分割列时，需要考虑以下几个方面：
- 行相关性 ：同一日期的行应具有相关性，确保同一日期的所有行都在同一分割中。
- 非模型输入 ：分割列不能作为模型的输入，但从该列提取的特征可以作为输入。
-