mfq2008的博客

原创 人工智能工具（一）位置编码

位置编码（Positional Encoding, PE）是为 Transformer 架构注入序列位置信息的核心技术，解决了自注意力机制天生置换不变性（无法感知词序）的问题。可学习位置编码本质就是一组可训练的向量，与词嵌入直接相加。其中：token 嵌入位置嵌入t=0,1,…,L−1：位置下标，L 为预设最大长度位置嵌入矩阵定义为：P随机初始化，随模型一起训练。例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

原创 人工智能工具目录

原创 图神经网络（十一）-5.4.2 注入随机属性（5.4 比1-WL测试更强大的图神经网络架构）

本文摘要： 文章系统探讨了提升图神经网络（GNN）表达能力的四种随机属性注入方法：RP-GNN通过节点排列组合增强结构感知，rGIN利用独立离散随机属性实现子图匹配，PGNN基于锚节点距离编码位置信息，以及随机矩阵分解方法通过扰动特征分解保持排列不变性。理论分析表明，这些方法通过多实例训练可近似保持排列不变性，其中rGIN被证明具备通用逼近能力。实验验证了随机属性在链接预测等任务中的有效性，但指出确定性距离编码（如SEAL）在部分场景性能更优。研究为平衡GNN的表达能力与泛化性提供了理论框架和技术路径。

原创 图神经网络（十）-5.4.1 MP-GNN的局限性（5.4 比1-WL测试更强大的图神经网络架构）

本文探讨了图神经网络（MP-GNN）在表征能力上的局限性，指出其受1-WL测试约束，难以区分某些图结构实例。文章分析了MP-GNN的两个主要缺陷：无法捕捉节点间的距离信息和环状结构信息。通过有属性正则图的概念，揭示了MP-GNN会将任何图压缩成高度对称的形式，导致同类型节点无法区分。作者用形象类比（如宿舍楼模型）说明这些理论限制，并指出虽然实际应用通常依赖节点特征，但理解这些结构认知缺陷对设计更强大的GNN至关重要。文章为后续介绍突破这些限制的方法奠定了理论基础。

原创 图神经网络（九）-5.3 强大的消息传递图神经网络

本文主要介绍了图神经网络（GNN）中的消息传递框架（MP-GNN）及其表达能力。重点讨论了不变池化操作在集合和图结构处理中的重要性，分析了MP-GNN与Weisfeiler-Lehman（1-WL）测试的类比关系。研究表明，采用和池化作为聚合操作的MP-GNN（如图同构网络GIN）可以达到与1-WL测试相当的表达能力。文章还探讨了如何通过单射函数设计使MP-GNN能够区分1-WL测试无法区分的图结构，同时指出MP-GNN在学习连续表征方面的优势。最后简要提及了突破1-WL测试限制的可能技术方向。

原创 图神经网络（八）- 5.2 图表征学习和问题的提出

本文系统阐述了图表征学习(GRL)的理论框架。首先定义了图结构数据的基本形式，提出了以(G,S)二元组表示任务实例的统一范式，其中G为图结构数据，S为关注的节点子集。通过该范式可统一描述节点分类、链接预测和图分类等不同任务。文章重点讨论了GRL的两个核心特性：排列不变性（要求同构图实例输出相同结果）和表达能力（衡量模型区分非同构图实例的能力）。最后指出构建满足排列不变性同时具备强表达能力的模型是GRL研究的关键问题。该理论框架为理解和设计图神经网络等图表征学习方法提供了基础。

原创 图神经网络（七）-4.4 过平滑问题

以下内容来自学习笔记，主要按照《图神经网络 -基础、前沿与应用》这本书进行学习。问题描述过平滑多层GNN中节点表示趋于一致，丧失区分性，导致性能下降原因GCN 等模型本质是拉普拉斯平滑，多层后过度平滑PairNorm 思想保持节点表示的 TPSD 与输入一致，避免表示趋同实现两步：中心化 + 缩放，保证表示间的总距离恒定作用缓解过平滑，支持更深层的图神经网络训练。

原创 图神经网络（六）-4.3 无监督的图神经网络

本文系统介绍了两种图神经网络无监督学习方法：变分图自编码器(VGAE)和深度图信息最大化(DGI)。VGAE基于变分推断和图重构，通过编码器-解码器结构学习节点表示；DGI则通过最大化局部节点表征与全局图表征之间的互信息来学习表示。文章详细阐述了两种方法的模型结构、目标函数、训练流程及优缺点，并对它们进行了对比分析。此外，还深入讲解了互信息理论估计(MINE)和深度信息最大化(DIM)的理论基础，揭示了DGI方法的思想来源。这些方法为图数据的无监督表示学习提供了重要技术路径。

原创 图神经网络（五）-4.2.6 多尺度谱图卷积网络

本文介绍了Lanczos网络，一种基于Lanczos算法的多尺度图神经网络。针对标准GCN存在的感受野有限和缺乏结构可学习参数问题，Lanczos网络利用Lanczos算法对图拉普拉斯矩阵进行低秩近似，通过设置不同传播步数（如50步和100步）实现多尺度信息传播。该方法结合远程图卷积和局部图卷积，在保持计算效率（复杂度O(n)）的同时提升了模型表达能力，在分子特性预测等任务上表现优异。但该算法在大规模图上可能成为计算瓶颈，且低秩近似可能丢失部分信息。

原创 图神经网络（四）-4.2.5 连续图神经网络

本文介绍了连续图神经网络(CGNN)的核心内容，主要包含三个方面：首先，CGNN通过ODE将离散动态的GNN推广到连续场景，提出了独立特征通道和通道交互两种节点动态模型；其次，文章详细推导了离散系统与连续系统的数学关系，揭示了其与流行病模型的联系；最后，分析了CGNN的三个优势：有效缓解过平滑问题、能建模长距离依赖关系以及具有可控的扩散速度。CGNN通过引入连续时间变量，为图神经网络提供了新的建模思路。

原创 图神经网络（三）-4.2.4 消息传递神经网络

本文介绍了消息传递神经网络(MPNN)的基本概念及其在图神经网络中的核心地位。MPNN由Gilmer等人于2017年提出，将多种GNN模型统一到消息传递、节点更新和读出三个阶段的框架中。文章详细阐述了MPNN的数学形式、经典模型对应视角，分析了其优势(统一性、灵活性)和局限性(过平滑问题、计算复杂度)。MPNN广泛应用于分子性质预测、社交网络分析等领域，并发展出多种扩展变体。作为图深度学习的基础范式，MPNN虽然存在挑战，但仍具有重要的理论和应用价值。

原创 图神经网络目录

图神经网络（数学基础）- 傅里叶变换图神经网络（一）-4.2.2 图卷积网络

原创 图神经网络（二）-4.2.3 图注意力网络(Graph Attention Networks, GAT)

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

原创 图神经网络（一）-4.2.2 图卷积网络

以下内容来自学习笔记，主要按照《图神经网络-基础、前沿与应用》这本书进行学习。卷积的数学定义是常见的二维卷积是卷积神经网络，这里不赘述。在图像里面卷积的概念很直接，因为像素点的排列顺序有明确的上下左右的位置关系。在这个情况下，将积分简化成了求和。那么在图中该如何做卷积。例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

原创 图神经网络（数学基础）- 傅里叶变换

傅里叶变换是一座桥梁，连接着“我们直观感受到的世界（时/空域）”与“事物构成的本质规律（频域）”。它让我们能够像分析光的成分一样分析信息，是现代工程与科学不可或缺的工具。

原创 Multiple Object Tracking: A Literature Review 学习笔记

目录一. 论文动机二. 创新点三、具体实现

原创 [视频目标跟踪(论文阅读)一]OVTrack: Open-Vocabulary Multiple Object Tracking

例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

原创 [视频目标跟踪一] 目标跟踪

例如：第一章 Python 机器学习入门之pandas的使用 CVPR2023 多目标跟踪（MOT）汇总

原创 MMtrcking评估

目标跟踪]vot-toolkit-python的使用。

原创 [MMtracking]配置

MMTracking环境配置