25、基于Circle Attention的Transformer模型在网络流量预测中的应用

基于Circle Attention的Transformer模型在网络流量预测中的应用

1. 特征构建

为了让模型能更可靠地更新圆的参数，我们构建了多种特征：
1. 交集分数特征 ：交集分数不依赖于时间，将其扩展为一个常量序列，公式如下：
plaintext X(IoA) i = IoAa,b
2. 位置特征 ：基于蜂窝塔的坐标构建位置特征，是坐标对 $(x_{tower}^a, y_{tower}^a)$，并进行适当归一化以确保值近似呈标准正态分布：
plaintext X(location) = [ (x_{tower}^a - mx)/sx (y_{tower}^a - my)/sy ]^T
其中 $m_x, m_y, s_x, s_y$ 是固定的缩放参数。由于位置不随时间变化，将这些值扩展为所有时间步的常量。
3. 时间的季节性编码特征 ：由3对正弦/余弦编码的季节性特征组成，分别是一天中的小时、一周中的天数和一年中的天数：
plaintext X(time) = [ sin(2π · HourOfDay / 24) cos(2π · HourOfDay / 24) sin(2π · DayOfWeek / 7) cos(2π · DayOfWeek / 7) sin(2π · DayOfYear / 365 ) cos(2π · DayOfYear / 365 ) ]^T

2. Transformer模型选择与输入处理