欢迎订阅 -- 小源笔迹

如今，庞大的参数量和推理过程中巨大的运算量阻碍着模型落地部署，成为深度学习的技术瓶颈之一。为解决这些问题，深度学习和硬件设计的专家学者针对深度神经网络压缩与加速方法展开了大量的研究。目前，较为有效地降低深度神经网络模型的空间和时间复杂度，达到模型压缩和推理速度的方法包括模型剪枝、知识蒸馏、神经网络结构搜索、张良分解和模型量化(Quantization)等。**模型剪枝：**通过去除模型中对性能影响较小的部分，从而解决模型过参数问题。根据剪枝粒度可以分为结构化剪枝和非结构化剪枝。

grid_sampler是比较经典的算子不支持问题，在pytorch1.12之后已经支持了，而我这里要求的版本是torch=1.8.0，该了torch版本后，之后的推理平台又会有版本限制所以不能改。然后用mmcv库中的bilinear_grid_sample()来替换grid_sample函数。二者是等价的，可以去torch官网看具体的api。具体做法就是定位到你出错的代码位置，一般就是grid_sample函数的定义位置。如果还是报错则重新写bilinear_grid_sample函数，具体代码如下。

根据网上所说，检查是否有cpuonly包，删除即可，但是我没有，网上说先下载后卸载就可以，可我这直接就无法安装，conda和pip都安装不了。我的conda默认还是安装的cpu版本的torch。用pip指定版本可以安装并且是支持gpu的版本，但是还是报之前不兼容的错误，不指定版本的话竟然安装的是1.0.2的版本，没有最新的软件包。发现我要的torch1.8.0还没有对应版本，1.8.1的版本只有cpu的对应版本。检索发现我的本机没有cuda10.1的版本，我的cuda是11.4的版本。

要计算这两个指标需在一个集合范围内才可行，所以这就要求必须指定一个神经元组成的集合，利用这个集合里每个神经元的激活值来统计出所需的均值和方差，这样才能达到预定的规范化目标。机器学习中常见的Normalization方法分为两种类型，一种是特征标准化，是对输入的数据进行预处理，是对数据的不同特征分别进行处理，常见有max-min normalizaiton，z-score normalization等；不论哪种标准化方法，其规范化目标都是一样的，就是将其激活值调整为均值为0，方差为1的正态分布。

自监督学习的主要目标是通过精心设计的代理任务，从丰富的无标签数据中学习可迁移的知识，然后将学到的知识迁移到具有特定监督信号的下游任务中。首先在得到的两组视图中的结点表示上采样K个motif-like子图，然后使用readout函数得到图级别和子图级别的表示。在这里，我们把针对图数据的数据增广策略分为以下四类基于特征的增广、基于结构的增广、基于采样的增广和自适应的增广。对比学习的目的是最大化正样本对之间的一致性。视图的尺度可能是局部的，上下文的或者全局的，对应的图中结点级，子图级和图级别的信息。.......

基于图的半监督学习GSSL主要包含两个过程图的构建和标签推测。传统的GSSL中这两个过程是完全独立的，一旦图结构构建完成，标签推断的结果也不再改变。因此，图的结构直接影响GSSL的效果。传统的图构造方法对数据的分布做了一个具体的假设，导致图的质量严重依赖于这些假设的正确性。因此，对于传统图构造方法很难应用再复杂多样的数据分布上。本文提出了一个框架叫做通过动态地提升图质量的图半监督学习。在本方法中，图的构建是基于多个聚类结果的加权融合，并且把标签推断也整合进一个统一的框架达到相互引导，动态提升的效果。....

图数据广泛用于描述现实中的实体及其他们之间的联系。图神经网络高度敏感于给定的图结构，因此噪声和不完备的图会得到不满意的表示并且妨碍模型全面理解潜在的机理。图结构学习GSL旨在联合学习最优的图结构和对应的图表示。在本篇工作中，我们广泛回顾了GSL最近的进展。图神经网络的成功归功于它同时探索了图结构和属性中的丰富信息，但是给定的图数据不可避免的会包含噪声和不完备，这样会阻碍GNN在现实问题中的应用。从表示学习的角度来讲，GNN是通过聚合邻居信息来学习节点表示的。这种迭代的方式存在一个级联的效果即当一个小的噪声传

对比学习在无监督图表示学习中取得了很好的效果，大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性。其中，图上的增强方式是非常重要的部分鲜有人探索。我们认为数据增强模式应该保留图固有的属性和结构，可以使模型学到对于不重要的结点和边扰动不敏感的表示信息。但目前的方法大多采用均质的增强方法如均匀的去边，或扰动特征，只能达到次优效果。本文借助先验信息从拓扑和语义角度引入自适应的增强策略。具体来说，在拓扑角度，采用基于结点的中心性来衡量连接结构的重要性的方式设计增强模式；在特征维度，给不

目前图表示学习在许多任务上取得了很好的效果但是都是关注于具体领域的并不具有迁移性。本文借鉴预训练思想，设计了一个自监督图神经网络框架来在多个网络中捕获一般化的网络拓扑结构属性。我们设计的预训练任务是在多个网络之间判别子图实体，使用对比学习强化图神经网络来学习固有的，可迁移的结构化表示。假设：具有代表性的图结构模式是一般化的且在网络之间可迁移。过去二十多年的工作主要关注点在发掘不同网络中潜在的一般化的结构属性。最近几年图学习的重点从结构模式挖掘转向图表示学习。将结点，边，子图等转化为低维嵌入可以保留一些重要

摘要图神经网络在图结构数据中取得了很好的效果但是大多数的模型使用的还是叫浅层的结构，当模型层数加深时很容易过平滑。本文基于多视图来聚合更多的信息。我们首先设计两个互补的视图来描述全局结构和节点特征相似性，然后使用注意力策略融合节点表示。最后，通过在不同视图上使用对比学习来学习节点的表示。引言GCN是每层聚合一次一阶邻居的信息，通过增加层数迭代聚合邻居信息。但随着网络层数的增加，效果会严重下降。实验发现使用RELU作为激活函数的GCN随着层数的增加效果严重下降而使用其他激活函数图tanh有减缓过平滑的效果

自监督深度学习模型的精确性严重依赖于训练时数据的多样性和数据量。模型要想在更复杂任务上有较好的效果一般会有大量的隐藏单元。一般在训练过程中训练隐藏单元越多需要的数据越多，即任务复杂度与参数量与需要的数据量成正比。由于训练复杂任务时数据的缺乏，迁移学习往往被应用并取得较好的结果但是对于指定任务创建预训练模型依旧严峻。另一种解决数据不足问题的技术便是数据增强即通过在可用数据上转化合成新的数据。数据增强可用来解决训练数据的多样性和数据量的问题。数据增强技术依赖于数据的类型。对于常规的数字型数据，常见的技术包括SM

摘要图对比学习在图表示学习领域树立了新的范式，不需要人工标注信息。但对GCL的分析却寥寥无几。本文通过分析一般化的GCL范式的各个部分包括增强函数，对比模式，对比目标和负采样技术，然后分析各个组件之间的相互作用。实验结论显示，简单的拓扑增强可以生成稀疏视图带来不错的性能提升；对比模型应该与最终任务的粒度一致。引言一个经典的图对比学习方法是首先通过对输入的随机增强构建多个图视图，然后通过对比正负样本学习表示。以每个节点作为中心节点为例，正样本一般是其他视图中表示一致的一些节点，而负样本则是在该Batch中

摘要传统的图卷积网络关注于如何高效的探索不同阶跳数(hops)的邻居节点的信息。但是目前的基于GCN的图网络模型都是构建在固定邻接矩阵上的即实际图的一个拓扑视角。当数据包含噪声或者图不完备时，这种方式会限制模型的表达能力。由于数据的测量或者收集会不可避免的会出现错误，因此基于固定结构的图模型表达能力是不充分的。本文提出了基于注意力机制的多视图图卷积网络，将拓扑结构的多个视图和基于注意力的特征聚合策略引入到图卷积中。MAGCN输入多个可靠的拓扑结构，这些结构一般是对应任务给定的结构或者使用经典图构造方法生成

机器学习基础知识，面试常见知识点

由于在图数据上的学习需要考虑图的结构信息，在模型训练时需要将全图输入，所以训练时会使用到没有标记信息的数据，所以使用的是transductive方式，一旦图的结构发生变化，需要重新学习。当图结构非常的时，内存可能无法全部放下数据，因此需要对图进行采样，如graphSage。那么采样到的数据就可以不包含没有标记的结点，因此可以使用inductive方式学习，这样模型就有一定的迁移能力，可以预测没有见过的结点。标准的半监督要求数据满足独立同分布假设，但是在图数据中并不遵循该前提，图机器学习不是标准机器学习

图神经网络的引入图神经网络能够实现强大的非结构学习的能力，能够从非结构化数据（例如:场景图片、故事片段等）中进行学习和推理。尽管传统的深度学习方法被应用在提取欧氏空间数据的特征方面取得了巨大的成功，但许多实际应用场景中的数据是从非欧式空间生成的，传统的深度学习方法在处理非欧式空间数据上的表现却仍难以使人满意。最早，研究人员也借用图谱理论的知识，如用拉普拉斯矩阵的特征值和特征向量做社区分析或者人群聚类等．随着深度学习的崛起，研究人员开始考虑把深度学习的模型引入到图数据中，代表性的研究工作是网络嵌.

机器学习（Machine Learning，ML）是指从有限的观测数据中学习（或“猜 测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。传统的机器学习主要关注如何学习一个预测模型。一般需要首先将数据表示为一组特征（Feature），特征的表示形式可以是连续的数值、离散的符号或其他形式。然后将这些特征输入到预测模型，并输出预测结果。这类机器学习可以看作浅层学习（Shallow Learning）。浅层学习的一个重要特点是不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取为了提高.

概率与统计： 统计：给定样本，推测总体分布，概率：给定总体分布 ，推测样本概率归纳与演绎：归纳就是从个别到一般，演绎则是从一般到个别随机变量：可以随机地取不同值的变量，是对可能的状态的描述。可以是离散或连续概率分布：描述随机变量取每个可能状态的可能性大小。概率质量函数(probability mass function)，离散型随机变量的概率分布。概率质量函数将随机变量能够取得的每个状态映射到随机变量取得该状态的概率。注：所有状态的概率质量函数之和为1.每个状态的概率介于0到1之间，可取到边

摘要POI的标签可以促进基于位置的服务比如位置搜索或者地点推荐。但是很多POI的标签并不完备或者不精确，本文目的是自动填充缺失的标签和纠正噪声标签。文章通过设计一个三自适应的协同学习框架搜索理想的POI-tag得分矩阵。框架分为三个部分1)建模POI和tag之间的相似性2)通过矩阵分解恢复POI-tag的模式3)通过最大似然估计推测最有可能的标签s动机根据观察发现，尽管最初的POI标签不完美但仍然透漏着POIs和相关tag之间的语义信息。我们可以把这种关系看作得分矩阵，分数代表标签和POI之..

DeepAR:Probabilistic forecasting with autoregressive recurrent network一般的时间序列预测方法是做点预测，即预测未来某个时间点的具体值。但对于一些具体业务比如预测销量来说预测一个概率区间更加易于决策。DeepAR是一个做概率预测的方法，同时也可以做点预测。首先简单介绍一下时间序列和常见的处理方法一、方法介绍DeepAR是一个基于自回归循环神经网络的预测方法，可以用于概率预测。通过在大量相关的时间序列的历史数据上学习一个全局的模型。

Attention mechanism总结：Attention机制简单来说就是一种信息过滤或者提取机制类似于记忆或者门控机制，用来筛选、更新信息。类比于人脑，神经网络中可以存储的信息量称为网络容量。要存储的信息越多，神经元数量就越多或者网络越复杂，大量的信息增加了存储负担和计算开销。由于人脑每个时刻接收的外界信息非常多，在有限的资源下，并不能同时处理这些过载的输入信息。大脑神经系统通过注意力和记忆两个机制解决信息过载问题。注意力是指人可以在关注一些信息的同时忽略另一些信息的选择能力，选择性过滤.

FP-growth算法(FP, Frequent Pattern)FP-growth算法只需要对数据库进行两次扫描。而Apriori算法对于每个潜在的频繁项集都会扫描数据集判定给定的模式是否频繁，因此FP-growth算法要比Apriori算法快。FP-growth算法只需要扫描两次数据集，第一遍对所有数据元素出现次数进行计数，第二遍只需考虑那些频繁的元素。发现频繁项集的基本过程分为两步，构建FP树和从FP树中挖掘频繁项集。简单来说，算法的目的就是在多个出现的数据项中找到出现次数最多的数据项或者

集成学习定义集成学习（Ensemble Learning）就是通过某种策略将多个模型集成起来，通过群体决策来提高决策准确率。集成学习首要的问题是选择什么样的学习器以及如何集成多个基学习器即集成策略。集成学习分类一个有效的集成除了要让各个基学习器的学习效果好之外还需要各个基学习器的差异尽可能大（差异性：各个基学习器的预测结果不完全相同）。集成学习往往和方差大的模型组合时效果显著。为了增加模型之间的差异性，可以采取Bagging和Boosting这两类方法。Boosting类方法中基学习器.