reallsp的博客

GRAPH-BERT: Only Attention is Needed for Learning Graph Representations论文笔记Motivation当前图神经网络（GNN）的主要方法过度依赖图中的连接关系，这样造成了三大问题：（1）模型假死；（2）过度平滑；（3）难以并行计算模型假死：随着神经网络层数的不断加深，模型对于输入的数据开始不进行相应。这个问题的具体原因没在论文里看到，个人理解是由于层之间的非线性变换使得数据分布变换置导数较小的区域，从而使得梯度消失。过度平滑：由于

Informer: Beyond Efficient Transformer for Long Sequence Time-Series ForecastingAAAI2021 Best paperInformer 的主要工作是使用 Transfomer 实现长序列预测（Long Sequence Time-Series Forecasting），以下称为 LSTF。针对 Transfomer 在长序列预测中的不足（平方时间复杂度、高内存占用和现有编解码结构的局限性），提出 ProbSparse 注意力

Supervised Contrastive LearningMotivation交叉熵损失是监督学习中应用最广泛的损失函数，度量两个分布（标签分布和经验回归分布）之间的KL散度，但是也存在对于有噪声的标签缺乏鲁棒性、可能存在差裕度（允许有余地的余度）导致泛化性能下降的问题。而大多数替代方案还不能很好地用于像ImageNet这样的大规模数据集。在对比学习中，核心思想是拉近某一个锚点与其正样本之间的距离，拉远锚点与该锚点其他负样本之间的距离，通常来说，一个锚点只有一个正样本，其他全视为负样本。Co

Relation-aware Graph Attention Model With Adaptive Self-adversarial Training相关基础知识什么是异构图？传统的同构图（Homogeneous Graph）数据中只存在一种节点和边，而异构图（Heterogeneous Graph）中可以存在不只一种节点和边。异构图的关系预测问题对于两个包含多种属性的实体（entity），预测他们之间的关系类型（relation）。在异构图中，实体对应节点，关系对应两个节点之间的边，即预测两个

Graph Correspondence Transfer for Person Re-Identification论文笔记摘要提出了GCT（图关系迁移）模型解决行人重识别问题，与现存的方法不一样，GCT将行人重识别视为一个离线的图匹配问题和一个在线的关系迁移问题。在训练过程中，通过patch级别的图匹配，在具有不同姿势对配置的正样本对中离线的学习得到一个关系模版集合。测试过程中，对于每一对测试样本，选择几对姿势对配置最相似的训练样本对作为参考样本，将这些参考样本的关系迁移到测试样本中以计算特征距离。将