26、圈注意力机制在手机流量预测中的应用与研究

圈注意力机制在手机流量预测中的应用与研究

1. 圈注意力机制实验概述

在手机流量预测任务中，为了更好地建模电信塔之间的空间关系并提高预测准确性，提出了圈注意力（Circle Attention，CA）方法。该方法利用相交圆的面积来建模空间关系，并通过反向传播端到端地学习圆的参数。下面将详细介绍相关实验及结果。

1.1 实验 1：不同模型类型对比

在实验 1 中，对四种模型类型进行了测试，通过 MAE 得分的箱线图（图 3）和损失曲线（图 4）来评估模型性能。
- MAE 得分箱线图 ：每个箱代表 101 次重复实验。从图 3 可以看出，“Self only”基线在测试集性能上的方差明显低于其他模型。这进一步表明，当将相邻预测作为模型输入时，自回归预测过程可能会导致大量误差累积。
- 损失曲线 ：每条曲线代表 101 次重复实验的平均损失，阴影区域代表标准差。需要注意的是，由于如果验证损失连续 8 个周期不下降，训练过程将停止，因此该图存在生存偏差。

在验证集上，使用教师强制在一次模型评估中生成全范围的单步预测。而在测试集上，预测是自回归生成的，通过迭代地将先前的预测作为输入，包括相邻扇区的预测。众所周知，随着预测范围的增加，这种自回归预测通常会累积误差。因此，“All neighbors”基线似乎比其他模型更容易累积误差，这可以看作是一种过拟合形式，因为该模型可能会学习到来自远处相邻扇区的多个虚假关系，而这些关系可以用与附近扇区的单一关系来替代。在这种情况下，圈注意力可以被视为一种提供归纳偏置的方式，用于确定哪些邻居可能包含有用信息。

1.