<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[fnoi2014xtx的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/fnoi2014xtx</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; fnoi2014xtx]]></copyright><item><title><![CDATA[【理论推导】流模型 Flow-based Model]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129959916</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129959916</guid><author>fnoi2014xtx</author><pubDate>Tue, 04 Apr 2023 20:23:33 +0800</pubDate><description><![CDATA[Flow-based model]]></description><category></category></item><item><title><![CDATA[【理论推导】随机微分方程(SDE)视角下的Diffusion Model与Score-based Model]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129871986</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129871986</guid><author>fnoi2014xtx</author><pubDate>Fri, 31 Mar 2023 15:48:25 +0800</pubDate><description><![CDATA[随机微分方程下的扩散模型与分数模型]]></description><category></category></item><item><title><![CDATA[【理论推导】扩散模型 Diffusion Model]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129853364</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129853364</guid><author>fnoi2014xtx</author><pubDate>Thu, 30 Mar 2023 17:49:01 +0800</pubDate><description><![CDATA[扩散模型 DDPM]]></description><category></category></item><item><title><![CDATA[【理论推导】基于分数的生成模型Score-based Model]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129838693</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129838693</guid><author>fnoi2014xtx</author><pubDate>Wed, 29 Mar 2023 23:49:38 +0800</pubDate><description><![CDATA[Score-based Models]]></description><category></category></item><item><title><![CDATA[【理论推导】变分自动编码器 Variational AutoEncoder(VAE)]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129833459</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/129833459</guid><author>fnoi2014xtx</author><pubDate>Wed, 29 Mar 2023 15:09:42 +0800</pubDate><description><![CDATA[【理论推导】变分自编码器]]></description><category></category></item><item><title><![CDATA[Spectral Networks and Deep Locally Connected Networks on Graphs]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/108730369</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/108730369</guid><author>fnoi2014xtx</author><pubDate>Tue, 22 Sep 2020 15:18:35 +0800</pubDate><description><![CDATA[Paper : Spectral Networks and Deep Locally Connected Networks on Graphs
Code :

摘要
Yann LeCun 组在nips2014发表的有关卷积在图上迁移的理论研究成果，可能是最早的一篇研究Graph Convolution 的文章。在欧式空间中使用的卷积具有平移不变性，权值共享，局部连接，分层次表达的特点，但是图结构是一种非欧式空间中的关系型结构，所以其不存在平移不变性（每个节点的周围邻居数不固定），导致图网络无法使用卷积。作.]]></description><category></category></item><item><title><![CDATA[node2vec]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/108711655</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/108711655</guid><author>fnoi2014xtx</author><pubDate>Mon, 21 Sep 2020 16:34:40 +0800</pubDate><description><![CDATA[Paper : node2vec: Scalable Feature Learning for Networks
Code : official

摘要
作者在DeepWalk思想的基础上，对RandomWalk算法进行改进，结合了深度优先搜索和广度优先搜索的优点，提出了node2vec的搜索策略，用来定义点的局部邻域。不过在GNN方法出来之后类DeepWalk的方法差不多算是过时了。该篇论文的主要贡献点有以下几点

作者提出了node2vec，一种用于网络特征学习的有效可扩展算法，该算法使用SGD有效地.]]></description><category></category></item><item><title><![CDATA[Deep Graph Kernels]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/108679002</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/108679002</guid><author>fnoi2014xtx</author><pubDate>Sat, 19 Sep 2020 13:25:32 +0800</pubDate><description><![CDATA[Paper : Deep Graph Kernels
Code :

摘要
这是另一篇上古时期学习图结构的特征表示文章，在此考古一下并学习这篇文章使用的核方法。作者提出了一种学习图子结构潜在表示的统一框架，DGK框架。 该框架通过利用子结构之间的依赖关系信息，给出图与图之间的相似度定义，通过相似度来定义图结构的潜在表示。作者给出了该框架应用到三种常见的图内核（Graphlet内核，Weisfeiler-Lehman子树内核和最短路径图内核）上的特例情况。
核方法
衡量结构化对象之间相似性的一种方法是使用内.]]></description><category></category></item><item><title><![CDATA[DeepWalk]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/108667191</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/108667191</guid><author>fnoi2014xtx</author><pubDate>Fri, 18 Sep 2020 17:59:21 +0800</pubDate><description><![CDATA[DeepWalk

Paper : DeepWalk: Online Learning of Social Representations
Code :

摘要
作者提出了一种自监督学习图的点特征表示的方法DeepWalk，使用从截断的随机游走方法中获得的图的局部信息，通过将游走视为句子的等效词来学习潜在表示。DeepWalk作为一种在线学习算法，可建立有效的增量结果，并且可以并行化。事实上DeepWalk已经可以称作是上古的图表示学习的方法了，这篇文章主要是考古用。
DeepWalk
图的点特征表示学习定]]></description><category></category></item><item><title><![CDATA[APPNP]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107567629</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107567629</guid><author>fnoi2014xtx</author><pubDate>Fri, 24 Jul 2020 20:21:42 +0800</pubDate><description><![CDATA[Paper : Predict then Propagate: Graph Neural Networks meet Personalized PageRank
Code : official

摘要
随着GNN网络层数的提高，存在过平滑和参数量过大难以训练的问题。作者探索了GCN与PageRank算法之间的关系，提出了基于Personalized Page Rank 的改进版本的信息传递方式PPNP(Personalized Propagation of Neural Prediction)，以及快速近.]]></description><category></category></item><item><title><![CDATA[Attention Is All Your Need]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107559642</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107559642</guid><author>fnoi2014xtx</author><pubDate>Fri, 24 Jul 2020 15:36:39 +0800</pubDate><description><![CDATA[Paper : Attention Is All Your Need
Code : official

摘要
本文提出了经典的Attention与Multi Head Attention 机制，并利用这两部分构造了一个Transformer结构，为BERT的提出打下基础。作者在NLP相关的数据集上进行测试，相比CNN和RNN给出了以下几个优点

并行度高，训练时间短
表现更好
可以更好的处理长距离依赖关系，从全局的角度处理输入和输出的依赖关系

Transformer 结构

从NLP模型架构的角度来看，.]]></description><category></category></item><item><title><![CDATA[InfoGraph]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107401063</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107401063</guid><author>fnoi2014xtx</author><pubDate>Fri, 17 Jul 2020 10:58:13 +0800</pubDate><description><![CDATA[Paper : InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
Code :

摘要
作者使用 Deep Infomax 的方法来学习网络的图表示，并提出了自监督学习版本的训练方法 InfoGraph 与非监督学习版本的训练方法 InfoGraph* ，两者之间的差别在于 InfoGraph* 损失函数多了一项防止发生 ne.]]></description><category></category></item><item><title><![CDATA[Contrastive Learning Of Structured World Models]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107323187</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107323187</guid><author>fnoi2014xtx</author><pubDate>Mon, 13 Jul 2020 20:41:30 +0800</pubDate><description><![CDATA[Paper : Contrastive Learning Of Structured World Models
Code : official

摘要
作者在强化学习任务中，提出了使用GNN来建模多物体之间的关系的方法，使用transE的思路来进行状态的预测，并通过Contrastive Loss 来进行训练，提出 C-SWM 模型。作者在雅达利游戏，多物体物理模拟等任务上达到了SOTA。
方法
C-SWM模型可以对物体与物体之间的关系建边，目的是对每个物体学习到它的特征表示，通过Contrastive .]]></description><category></category></item><item><title><![CDATA[Few-shot Learning with Graph Neural Networks]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107314108</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107314108</guid><author>fnoi2014xtx</author><pubDate>Mon, 13 Jul 2020 14:50:43 +0800</pubDate><description><![CDATA[Paper : FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS
Code : official

摘要
作者使用GNN建模少样本学习任务中的消息传递过程，将每个样本看作是图中的节点，少样本学习转化为图中给出部分节点的标签以后进行训练的点分类任务。作者提出的GNN建模方法还可以扩展到半监督学习或主动学习的任务上。
问题设定
首先给出少样本学习，主动学习和半监督学习的通用描述，考虑输入输出对 (T,Y)(\mathcal T,\mathcal Y)(T,Y)
T={{.]]></description><category></category></item><item><title><![CDATA[Pre-Training Graph Neural Networks for Generic Structural Feature Extraction]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107204102</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107204102</guid><author>fnoi2014xtx</author><pubDate>Wed, 08 Jul 2020 22:19:11 +0800</pubDate><description><![CDATA[Paper : Pre-Training Graph Neural Networks for Generic Structural Feature Extraction
Code :

摘要
作者想要解决的任务是根据图结构进行预测，通过构造三种与图结构相关的损失函数，作者给出的预训练算法得到的模型参数可以包含从图的局部到全局不同层次的结构信息，

...]]></description><category></category></item><item><title><![CDATA[GPT-GNN]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107206596</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107206596</guid><author>fnoi2014xtx</author><pubDate>Wed, 08 Jul 2020 16:58:29 +0800</pubDate><description><![CDATA[Paper : GPT-GNN: Generative Pre-Training of Graph Neural Networks
Code : official

摘要
GPT-GNN引入了自监督的属性图生成任务来预训练GNN，以便捕获图的结构和语义属性。 我们将图生成分为两个部分：属性生成和边生成。通过对两个部分进行建模，GPT-GNN可以在生成过程中捕获节点属性与图结构之间的固有依赖性。
生成过程
GPT-GNN通过最大化图的似然函数来预训练 GNN，也就是说
θ∗=max⁡θp(G;θ)
\the.]]></description><category></category></item><item><title><![CDATA[Reptile]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107190441</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107190441</guid><author>fnoi2014xtx</author><pubDate>Tue, 07 Jul 2020 23:29:34 +0800</pubDate><description><![CDATA[Paper : On First-Order Meta-Learning Algorithms
Code :

摘要
作者仿照FOMAML(一阶近似MAML)的方法提出了Reptile算法进行元学习，Reptile与FOMAML同样只利用了一阶梯度信息，但是理论分析了Reptitle可以使用SGD对二阶梯度信息进行近似，因此相比MAML取得了更优的结果。本文的理论分析部分值得一看。
算法
MAML求解的问题形式化的表示为
min⁡ϕET[LT(UT(k)(ϕ))]
\min_{\phi}\mathbb E.]]></description><category></category></item><item><title><![CDATA[MAML]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107181341</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107181341</guid><author>fnoi2014xtx</author><pubDate>Tue, 07 Jul 2020 17:56:14 +0800</pubDate><description><![CDATA[Paper : Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
Code : official

摘要
作者根据元学习(meta learning)的表达式提出了MAML算法用来进行元知识的梯度下降，使用一阶近似的方法来避免计算损失函数的二阶导，并在小样本学习任务(few-shot learning)上取得了SOTA的成绩。作者强调MAML算法具有模型无关性，可以适用于任何基于梯度下降优化的模型上。并给出了MAML与监督学.]]></description><category></category></item><item><title><![CDATA[计算机网络原理]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107095128</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107095128</guid><author>fnoi2014xtx</author><pubDate>Thu, 02 Jul 2020 23:09:13 +0800</pubDate><description><![CDATA[计算机网络原理
文章目录计算机网络原理引言计算机网络体系结构数据通信的基本原理物理层接口数据链路控制及其协议局域网和介质访问子层网络层和路由控制传送层服务和控制计算机网络应用
引言
网络空间的三大基础性关键核心技术：CPU/OS/互联网体系结构
历史：ARPANET，X.25，OSI体系，Internet
主要研究内容：规模实验，路由性能，路由控制
互联网重大技术挑战：扩展性 安全性 高性能 移动性 实时性 管理性
计算机网络：一批独立自治的计算机系统的互连集合体
计算机网络体系结构
计算机网络：

通信子]]></description><category></category></item><item><title><![CDATA[Graph Isomorphism Network]]></title><link>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107071234</link><guid>https://blog.youkuaiyun.com/fnoi2014xtx/article/details/107071234</guid><author>fnoi2014xtx</author><pubDate>Wed, 01 Jul 2020 22:14:39 +0800</pubDate><description><![CDATA[Paper : GRAPH ISOMORPHISM NETWORK
Code :

摘要
作者使用Weisfeiler-Lehman(WL) test 和同构图判定问题来评估GNN网络的表达能力，并提出了GIN网络结构，理论分析GIN的表达能力优于GraphSAGE GCN等结构，在多任务上准确率达到了SOTA。WL测试与GNN具有相似的信息传递方式，在WL test算法运行的过程中，算法构造了从 multiset 到 representation 的单射函数，因此WL test在图同构问题上具有强表达能.]]></description><category></category></item></channel></rss>