37、基于混合扩张卷积的进化Transformer网络与双栈解析器发现方法-优快云博客

本文链接：https://blog.youkuaiyun.com/fox11/article/details/152644998

基于混合扩张卷积的进化Transformer网络与双栈解析器发现方法

一、HDCformer模型在交通流量预测中的应用

在交通流量预测领域，HDCformer模型展现出了卓越的性能。为了评估HDCformer模型的性能，我们采用了三个常用的指标：平均绝对误差（MAE）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）。它们的数学表达式如下：
- (MAE = \frac{1}{N}\sum_{i = 1}^{n}|y_{i}-\hat{y} {i}|)
- (RMSE = \sqrt{\frac{1}{N}\sum {i = 1}^{n}(y_{i}-\hat{y} {i})^{2}})
- (MAPE = \frac{1}{N}\sum {i = 1}^{n}\frac{|y_{i}-\hat{y} {i}|}{y {i}}\times100\%)

其中，(\hat{y} {i})表示预测值，(y {i})表示真实值，(N)表示测试集中的样本数量。

性能比较

我们将HDCformer模型与7种基线方法在两个公共数据集（PEMSD4和PEMSD8）上进行了交通流量预测的比较，结果如下表所示：
| 模型 | PeMSD4（MAE） | PeMSD4（RMSE） | PeMSD4（MAPE(%)） | PeMSD8（MAE） | PeMSD8（RMSE） | PeMSD8（MAPE(%)） |
| — | — | — | — | — | — | — |
| HA | 47.17 | 70.14 | 22.98 | 28.46 | 36.3 | 25.92 |
| ARIMA | 64.34 | 84.20 | 36.93 | 30.00 | 38.22 | 27.76 |
| KNN | 52.86 | 72.25 | 26.10 | 22.49 | 29.85 | 18.65 |
| SVR | 53.81 | 71.48 | 29.02 | 21.54 | 27.55 | 19.50 |
| LSTM | 38.50 | 52.06 | 19.23 | 19.75 | 25.96 | 16.96 |
| GRU | 39.78 | 52.25 | 22.52 | 20.19 | 26.68 | 17.01 |
| RPConvformer | 35.8 | 47.5 | 17.51 | 16.15 | 21.08 | 11.02 |
| HDCformer(ours) | 32.80 | 43.60 | 16.15 | 15.71 | 20.54 | 10.61 |

从表中可以看出，我们提出的HDCformer方法在所有三个指标上都优于其他所有基线方法。特别是与最重要的基线RPConvformer相比，HDCformer在PEMSD4和PEMSD8数据集上的预测精度分别平均提高了8.12%和3.00%。基于实验结果，我们可以得出以下结论：
1. 经典机器学习方法的局限性 ：如KNN和SVR模型没有充分利用序列信息，忽略了交通流量序列中局部趋势的相关性，并且容易受到局部异常值的影响，导致模型的泛化能力较差。
2. 深度学习方法的误差传递问题 ：基于深度学习的方法，如LSTM和GRU模型的串行属性导致在递归过程中误差不断传递和放大。
3. RPConvformer模型的局限性 ：基于一维卷积进行序列嵌入的RPConvformer模型，其感受野受卷积核大小的限制，学习到的局部序列特征不能很好地表示趋势相关性。

消融实验

为了进一步研究HDCformer模型在交通流量预测任务中的有效性，我们针对基于混合扩张卷积的数据嵌入模块和进化的Transformer网络设计了以下变体：
- HDCformer(no - dilated - conv) ：该变体去除了数据嵌入层中的扩张卷积。
- HDCformer(same - dilated - rate) ：该变体将三层扩张卷积的扩张率统一设置为r = 2，以评估网格效应对模型的影响。
- HDCformer(no - skip - connection) ：该变体去除了相邻编码器层之间添加的残差连接，即退化为原始Transformer的编码器堆叠方法。

我们比较了HDCformer和上述三个变体模型在PEMSD4和PEMSD8数据集上的预测性能，消融研究结果表明：
1. 扩张卷积的有效性 ：与HDCformer(no - dilated - conv)相比，HDCformer的预测性能有显著提高，这表明使用扩张卷积进行数据嵌入能有效捕捉序列中的局部相关性。
2. 扩张率设置的影响 ：HDCformer(same - dilated - rate)的性能比HDCformer差，这表明扩张卷积的网格效应会导致模型学习到不完整的局部序列特征，从而获得有缺陷的趋势信息。
3. 残差连接的重要性 ：HDCformer(no - skip - connection)的性能比HDCformer差，因为该变体忽略了层间注意力模式的继承，每层的注意力分数是独立计算的。

二、双栈解析器发现方法DualDNSMiner

随着IPv6网络应用的快速发展，向IPv6 DNS的过渡加速。在这个过程中，双栈解析器承担着确保混合网络条件下域名解析的关键角色。然而，IPv6防御措施的滞后部署可能会破坏解析器的整体安全性，因此发现双栈解析器对于DNS安全分析至关重要。

背景与挑战

以往发现双栈解析器的方法基于一些不切实际的强假设，忽略了具有多个别名IP地址的解析器。由于一些主机有多个网络接口，可能会有多个不同的IPv4或IPv6地址指向同一主机，这些地址被称为别名地址。别名地址在网络中很常见，特别是IPv6地址，这使得一些解析器可能同时拥有多对{IPv4, IPv6}地址，但无法被以前的方法发现。

DualDNSMiner方法

我们提出了一种基于别名解析的新双栈解析器发现模型 - DualDNSMiner。DualDNSMiner通过地址别名解析技术来识别具有多个别名地址的主机，并确定双栈解析器。具体来说，DualDNSMiner会通过别名解析将多个IPv4（IPv6）别名地址映射到同一个IPv4（IPv6）主机，从而将地址关系转化为主机关系。因此，DualDNSMiner中双栈解析器的判定标准是具有一对{IPv4, IPv6}主机的解析器为双栈解析器。

我们的工作主要有以下三个贡献：
1. 提高解析器发现率 ：这是首次应用别名解析方法解决双栈解析器发现问题。所提出的发现算法与以前的方法相比，能够以相对较低的成本将解析器发现率提高80%以上，有助于推进IPv6过渡过程中DNS部署的分析。
2. 可靠的验证方法 ：我们提出了一种新颖的方法来验证解析器是否为双栈解析器。与以往依赖于通过IPv4和IPv6地址模式相似性进行验证的工作相比，我们的方法提供了更可靠且有数据支持的验证方法，这将有助于验证未来双栈解析器发现工作的有效性。
3. 揭示别名地址的普遍性 ：通过在不同国家的两个有利位置进行的全球测量，我们的数据表明，接近50%的已知双栈解析器具有别名地址。拥有更多地址意味着双栈解析器比以前认为的有更多可选的数据路径，这增加了其遭受应用层攻击的风险。

基于混合扩张卷积的进化Transformer网络与双栈解析器发现方法（下半部分）

三、技术优势与应用前景

HDCformer模型的优势与展望

HDCformer模型将混合扩张卷积网络的改进策略和残差连接的进化机制与Transformer框架相结合，用于交通流量预测，实验结果充分验证了其优越性。其优势主要体现在以下几个方面：
- 捕捉局部相关性 ：通过堆叠不同扩张率的扩张卷积构建数据嵌入层，能够有效捕捉交通流量时间序列中的局部相关性，使模型更好地学习序列的局部趋势。
- 捕捉注意力模式的进化趋势 ：连接原始Transformer中相邻层的注意力分数，有助于捕捉不同层之间注意力模式的进化趋势，提高预测的准确性。

展望未来，我们可以基于HDCformer进一步研究道路网络结构中交通流量的时空相关性。例如，可以使用空间自注意力机制和空间图建模来捕捉交通流量的空间依赖性，从而更全面地了解交通流量的变化规律，为交通管理和规划提供更有力的支持。以下是一个简单的研究流程示意：

graph LR
    A[基于HDCformer模型] --> B[研究时空相关性]
    B --> C[使用空间自注意力机制]
    B --> D[进行空间图建模]
    C --> E[捕捉交通流量空间依赖性]
    D --> E
    E --> F[为交通管理和规划提供支持]

DualDNSMiner方法的优势与应用

DualDNSMiner方法在双栈解析器发现方面具有显著的优势，为DNS安全分析提供了有力的工具。其优势主要包括：
- 高发现率 ：通过应用别名解析方法，能够以相对较低的成本将解析器发现率提高80%以上，大大提高了双栈解析器的发现效率。
- 可靠的验证方法 ：提出的新颖验证方法比以往依赖地址模式相似性的方法更可靠且有数据支持，有助于验证未来相关工作的有效性。
- 揭示别名地址的普遍性 ：发现接近50%的已知双栈解析器具有别名地址，这对于分析DNS的IPv6进化过程至关重要。

在实际应用中，DualDNSMiner方法可以帮助网络运营商和研究人员全面了解双栈解析器的部署情况，识别潜在的安全风险。例如，网络安全专业人员可以根据发现的双栈解析器信息，加强对这些解析器的安全防护，部署更有效的防火墙、过滤和入侵检测系统，以降低遭受DDoS攻击等安全威胁的风险。以下是一个应用流程示意：

graph LR
    A[使用DualDNSMiner发现双栈解析器] --> B[获取解析器信息]
    B --> C[识别潜在安全风险]
    C --> D[加强安全防护]
    D --> E[部署防火墙、过滤和入侵检测系统]
    E --> F[降低安全威胁风险]

四、总结

本文介绍了两种重要的技术方法，分别是用于交通流量预测的HDCformer模型和用于双栈解析器发现的DualDNSMiner方法。

HDCformer模型通过结合混合扩张卷积和Transformer框架，在交通流量预测任务中表现出色，优于多种基线方法。消融实验进一步证明了扩张卷积和残差连接在提高模型性能方面的重要性。未来可以基于该模型深入研究交通流量的时空相关性，为交通领域的决策提供更准确的支持。

DualDNSMiner方法针对以往双栈解析器发现方法的不足，引入别名解析技术，显著提高了双栈解析器的发现率，并提供了可靠的验证方法。该方法揭示了别名地址在DNS解析器中的普遍性，对于分析DNS的IPv6进化过程具有重要意义，有助于网络安全专业人员更好地保护解析器的安全。

这两种方法在各自的领域都具有创新性和实用性，为相关领域的研究和应用提供了新的思路和方法。