qq_38142901的博客

论文提出了一个基于多个分离网络的有监督学习方案,该方案可以解决整个训练集中的子集问题.该方案既可以看做多层有监督网络模块的版本,也可以看作是竞争学习的协同版本.该方案将这个两个看似差异很大的版本联系了起来.最后使用元音分辨任务对该方案进行了验证与说明,其具体方法是通过将元音任务拆分为几个子任务,每个子任务由一个简单的专家网络负责.

异构图的定义是节点内部存在类型不同,边的内部存在类型不同信息,那么类型不同的信息是否可以做特征引入图学习中,由此异构图可做同构图对待?若必须视为异构图,其图学习又如何进行?本节课将介绍异构图的基本定义,以及其与同构图的关系,如何使用GCN实现对异构图的嵌入学习,如何使用Transform实现对异构图的嵌入学习.

上节课结尾我们说到位置信息的引入可以借助注意力机制,那么我们联想到目前注意力机制最火爆的模型transformer,它已经成功应用在了时序类任务上如iTransformer,informer等,是不是也可以用于图学习呢?本节课将探索transformer与图学习的联系,以及如何实现图的transformer.

根据上一节课我们知道目前最强的GIN在表征带环或对称图形时,无法完美区分出来不同的图形.本节课基于这个局限提出了引入图的结构信息,其代表方法是通过谱分解得到图的全局结构,说明GIN的局限的原因,并可以通过矩阵得到结构信息特征;此外根据上一节课我们知道当计算图一致时,表征结果一致,但当两个不同的节点虽然其计算图一样,但是其位置不同,我们希望得到不同的表征,这种情况我们就需要引入位置信息。

前面介绍了图神经网络的构成,常见类型,训练流程与实践结构,本节课将对图神经网络的表征能力进行挖掘,首先是用什么来衡量图神经网络的表征能力,然后是什么样的结构能够得到表征能力强大的图神经网络.本节课主要说明了如何分析图神经网络的表征能力,能够区分不同的图,表现在神经网络计算上为节点的嵌入应为单射;如何搭建表征能力强的网络结构GIN,通过保证节点计算图单层聚合为单射函数,引出MLP可实现单射需求.最后讲述了GIN与WL图核的关系,其hash 函数为单射函数,可用GIN实现,两者殊途同归.

本课程,描述了在节点嵌入后如何适用于不同任务类型,其中可直接用于节点任务,通过拼接点积等操作可用于边预测,最复杂的是图预测需要做分层的节点聚合才能得到的区分不同图的表示;然后介绍了自监督由数据结构和信息本身得到标签,与有监督的标签来源;随后介绍了图学习里的loss与评价指标,基本与机器学习中常见的方法一致;最后讲述了数据集的划分,分为直推式划分(训练集,验证集,测试集来源于一个图),归纳式(训练集,验证集,测试集来源于不同图),并介绍了不同任务类型的例子增进两种方法的理解,其中以边任务较为特征,值得注意.

本课程首先对GNN层的构建原理进行了解读,其中包含两个核心环节消息传递与聚合,根据消息传递方式的差异性产生了不同的变种GCN,graphSAGE,GAT .然后介绍了GNN层与层之间的堆叠会产生的核心问题过度平滑,从而引申出可通过丰富单层核心环节的结构或增加GNN层输入输出前后的处理层实现单层容量增强,与跳跃式连接实现浅层与深层混合结构来实现容量增强两种方式.最后介绍了实际图数据的常见问题(稀疏,稠密,大图),为更好的实现图嵌入,我们需要通过增加虚拟节点/边解决图过度稀疏问题,以及近邻采样提升计算效率解决大

本课基于传统嵌入法的局限性,考虑使用神经网络的表征能力强的特性来构建新的图嵌入方法;通过总结现有神经网络结构特性与图嵌入的特点,构建的基于置换不变性与置换等变性函数的多层图神经网络用于图嵌入,该结构完美克服了传统方法的局限性,并与已有神经网络(如CNN,transform)在理论上相通.

为什么要做节点嵌入,节点嵌入可以揭示节点间的相似性;可以编码网络信息;可以用于更多下游应用.且节点嵌入是非监督或自监督的方法,无需要节点的标签,特征,仅估计节点的一组坐标变可实现原网络结构信息的保留.节点嵌入过程基本独立与实际任务,不同任务其嵌入是通用的.

本节课主要介绍了传统的图特征提取方法,其中包括节点特征度,中心性,聚类系数,子图模式库特征;边的两点间最短距离特征,局部邻域重叠,全局领域重叠;与最后通过核函数对图进行特征提取,灵感来源于语言模型的词袋方法,介绍了基于子图模式的Graphlet Kernel与基于hash 节点颜色标签（或特征）的迭代式聚合的Weisfeiler-Lehman Kernel 得到图的特征与图之间的相似度度量.

本文中介绍了7种经典的聚类算法,以及聚类常用的评价指标

随着GBDT的广泛应用与大数据集的日益增加,对算法的效率要求不断提高;因此基于GBDT上出现了不少改进算法,其中XGBoost是改进成功的代表.然在高维特征跟大型数据集场景下,改进算法仍无法满足需求.因此又出现了针对该问题的改进算法light GBM,其特别之处在于提出了一个基于梯度的单边采样降低了训练集大小,提出了一个互斥特征绑定,降低了特征维度,从而在精度差异不大的情况下.提升了模型的效率.

XGboost 梯度加速决策树集成学习,是在GBDT后出现的一个应用广泛且框架稳定的模型.其出现源于原梯度加速模型在大型数据上计算量大,运行速度缓慢;二是随着数据库的积累与丰富,对更高性能,精度与效率的模型需求越来越高;两大原因催生了该模型的出现.接下来我们将首先了解熟悉该模型的原理,优化点;然后是对应的库的实现方法,相应参数,重要属性使用,与实践中的一些注意事项.

集成学习由数个基础学习器构成， 在表现上通常优于单个学习器。根据基础学习器的组合方式又分为bagging、boosting、stacking三大类，第一类经典模型为随机森林，第二类代表为梯度boosting，该类目前最受欢迎的有LGBM，GBDT，XGBoost。

从三个门的公式可以看到,其激活函数与状态生成的激活函数不一样,门的激活函数选用sigmoid类函数,取值在[0,1]之间,符合门的定义,是实现长短期记忆的功能控制开关;Keras的每个循环层都有两个与 dropout 相关的参数：一个是 dropout，它是一个浮点数，指定该层。状态激活函数tanh,取值[-1,1],是一个0值中心化的函数,在0附近的梯度较大,收敛快.GRU不引入额外的状态,而是引入的一个更新门与重置门.其公式如下。则为外部状态,其三个门可以理解为下面的作用。

在二分类中，使用Platt 缩放法实现，该方法使用SVC模型输出作为训练集，构建sigmod函数，原标签仍为标签，进行拟合参数求解，由此得到了概率输出。当前模有方法SVC，NuSVC与LinearSVC，NuSVC与SVC的区别在于使用了参数V来控制训练误差的上限与支持向量的下限，而SVC的正则参数是C。SVM 支持向量的原型最开始是从一个二分类任务得到的.有一个二分类,标签y取值{+1,-1},想要进行分类,则要在样本中寻找一个超平面可以将样本分为两类,该超平面可以定义为。

对sklearn库中linear models模块里的线性模型的不同类型的方法优缺点与使用注意事项，进行一个简单的学习，与学习记录。

该文章是fbprophet 提出时对应的官方论文，同时fbprophet官方文档可以进该网站，了解fbprophet的实际使用与参数配置等方法。该论文中具体包括了fbprophet的原理，公式，特点，以及构建该模型的一些出发点，动机；数据预测与基线模型的对比，以及闭环时序预测的理念展示。阅读该文章对于初次接触fbprophet模型的人来说可以较好的对fbprophet模型有一个全面的了解。prophet模型由趋势项，周期项，节假日事件项与误差项组成，g(t)是趋势函数，可以设置不同的可变趋势；

对聚类算法的大纲总结，基本知识全包括。