常隆涛的博客

论文精读AdaWaveNet 自适应小波网络用于时间序列分析

新型电力系统的主要特征之一是源网荷储高效协同，人工智能是实现源网荷储高效协同的重要赋能技术。

DMRl-Former用于工业过程预测建模和关键样本分析的数据模式相关可解释Transformer网络

Informer代码复现心得

季节趋势分解部分移动平均的实现方法比较巧妙，先在头和尾部分别重复kernel_size - 1) // 步长，次这样移动平均计算完之后数据的维度不变对于趋势分量，前面是季节趋势分解完之后的趋势的label长度拼接上，上面计算的均值对于季节分量，前面是季节趋势分解完之后的季节的label长度拼接上，上面计算的零向量在encoder部分一切正常，没有用到季节趋势分量在encoder的embedding阶段用的不是transformer的三种嵌入方式。

通道注意力和空间注意力可以提升性能。如何有效捕获和利用不同尺度的特征图的空间信息来丰富特征空间；通道或空间注意力只能有效捕捉局部信息，难以建立long-range的通道依赖关系。现有方法虽能解决上述问题，但会增加模型复杂度和计算开销。论文提出一个低成本且有效的注意力模块——金字塔压缩注意力（Pyramid Squeeze Attention，PSA），旨在以较低模型复杂度学习注意力权重，并有效整合局部注意力和全局注意力以建立long-range长期通道依赖关系。