5、航班准点性能数据处理与分析策略

航班准点性能数据处理与分析策略

1. 数据特性与下载挑战

在处理航班准点性能数据时，有众多因素需要考虑。首先，数据集中包含航空公司代码，如美国航空的代码为 AA，但要注意航空公司代码会随时间变化，像 2012 年联合航空和大陆航空合并后统一以联合航空名义报告。若在预测中使用航空公司代码，就需以一致的方式应对这些变化。

截至 2016 年 11 月，准点性能数据集近有 1.71 亿条记录，数据始于 1987 年，最新数据为 2016 年 9 月，这表明数据集更新有一个多月的延迟。我们的模型主要使用该数据集的属性，必要时也会纳入机场位置和天气等其他数据集。

可以从 BTS 网站以逗号分隔值（CSV）文件的形式下载准点性能数据。不过，该网站的下载方式存在不足，每次只能下载一个月的数据，且必须手动选择所需字段。例如，若要下载 2015 年全年的数据，就得逐月选择字段并提交表单，一旦某个月遗漏了某个字段，直到数据分析时才会发现。因此，有必要编写脚本实现自动化下载，以提高效率并确保数据的一致性。

2. 数据集属性

经过对数据集中 100 多个字段的筛选，选出了 27 个可能与航班到达延误的训练、预测或评估相关的字段，具体如下表所示：
| 列 | 字段 | 字段名称 | 描述（摘自 BTS 网站） |
| — | — | — | — |
| 1 | FlightDate | FL_DATE | 航班日期（yyyymmdd） |
| 2 | UniqueCarrier | UNIQUE_CARRIER | 唯一承运人代码。当同一代码被多个承运人使用时，早期使用者会添加数字后缀，如 PA, PA(1), PA(2)