9、足球比赛数据处理与分析

足球比赛数据处理与分析

1. 数据缺失与列差异问题

在处理足球比赛数据时，我们发现不同年份的数据存在显著差异。较新的文件包含了之前章节展示的所有列，但 1993 - 1994 年的 Premier.csv 文件的前几行却形成了鲜明对比，存在大量缺失列。直到 1995 - 1996 年才增加了半场比分数据（仅在 Premier.csv 中），而到 2000 - 2001 年才拥有完整的列。

然而，2000 - 2001 年的 Premier.csv 文件又引入了新问题。其中包含了 7 个在 2013 - 2014 年数据中不存在的新字段，如 Attendance （观众人数）、 HHW/AHW （击中门框）、 HO/AO （越位次数）、 HBP/ABP （球队黄牌和红牌积分）。此外，赔率部分也有所不同，每年活跃的博彩公司存在很大差异。

2. 训练集、验证集和测试集的划分

在加载数据之前，我们需要确定训练数据、验证数据和测试数据。对于时间序列数据，有以下几种划分方式：
- 随机抽样测试行
- 细粒度分层（例如，每五场比赛作为测试数据）
- 以最近的数据作为测试集（例如，2014 - 2015 年及以后的数据作为测试数据）

考虑到生产系统中我们要预测下周末比赛的结果，通常采用第三种方法，即使用旧数据进行训练，新数据进行测试。同样的思路也适用于验证数据，按照训练数据、验证数据、测试数据的顺序划分，能让我们的模