qq_38402294的博客

Chapter 2 Background and Traditional Approaches本章主要介绍了一些在深度学习之前用于图数据的机器学习方法。2.1 Graph Statistics and Kernel Methods

​Chapter 1 Introduction第一章主要是一些介绍性的内容。图是在描述复杂系统时一种常见的数据结构，通常一张图由节点的集合和节点之间的关系（边）组成。例如，在用图表示社交网络时，我们可以用节点表示个体，用边表示不同个体间的朋友关系（如下图所示）；在生物领域我们可以用节点表示蛋白质，用边表示蛋白质间的各种生物关系。图结构的优势在于它能比较好的表示节点间的关系，同时具有较强的通用性和一般性，同一张图可能既能表示社交网络，又能表示药物和蛋白质间的关系、分子内部的不同原子间的相互作用。本

引言上一节主要介绍了通过分布匹配来解决领域自适应问题的方法，主要是在神经网络中添加距离约束，利用MMD等距离度量使得源域和目标域的数据经过网络后得到的特征分布比较相似，从而可以使得在源域上学到的模型能更好的迁移到目标域。领域自适应问题的关键就在于如何使得源域和目标域的数据更好的进行分布匹配，这一点除了可以通过MMD等距离约束实现，也可以使用对抗训练的思想，这也是本文将要介绍的重点内容。一、DANN (RevGrad)较早的使用对抗训练思想解决领域自适应问题的研究是Yaroslav Ganin等人

引言领域自适应是迁移学习中的一类重要问题，主要解决当训练集和测试集的数据分布存在偏差时，如何使得训练出的分类器更好的适应测试集上的数据。早期的基于统计学习等浅层模型的做法主要是先设计一套特征提取方法，然后对训练集和测试集的特征进行分布匹配，此时再将分类器用到测试集上会取得更好的预测效果。但是这种分步式的操作效果还是比较有限的，不能同时兼顾数据分布和分类器的训练，要想实现端到端的在数据分布差异约束下进行分类训练，就要依靠神经网络。近几年来使用深度学习方法解决领域自适应问题的文章有很多，都取得了比较好的效果

向量的外积与克罗内克积外积的定义外积(outer product)是线性代数中的一类重要运算，对于n维和m维的两个向量，其外积为一个n×mn\times mn×m的矩阵。给定两个向量u=(u1,u2,...um)\textbf{u}=(u_1, u_2,...u_m)u=(u1​,u2​,...um​)，v=(v1,v2,...vn)\textbf{v}=(v_1,v_2,...v_n)v=(v1​,v2​,...vn​)，其外积用u⊗v\textbf{u}\otimes \textbf{v}u⊗v表

从LMNN算法的源代码中得到启发，使用矩阵运算计算两个样本集之间的距离，可以避免循环计算，节省时间。输入两个样本集X和x，X：d×N x：d×n 每一列代表一个样本，每个样本特征为d维，即X有N个样本，x有n个样本输出距离矩DDD：N×n DijD_{ij}Dij​代表X的第i个样本和x的第j个样本的欧式距离朴素的算法是循环迭代X和x中的每个样本算距离，要循环N×n次优化后的算法...

高斯分布是概率统计、机器学习等领域非常重要的一类分布，而多元高斯分布是单元高斯分布在高维数据下的表现形式。多元高斯分布中有一条重要的性质，如果两个变量集的联合是高斯分布，那么其中一个变量集在以另一个变量集为条件下的分布依然是高斯分布，并且可以通过公式推导求出该条件的期望和方差。下面给出具体分析。假设D维向量x服从高斯分布N(x∣μ,Σ)N(\textbf{x}|\bm{\mu}, \bm{\Si...

https://alberthg.github.io/2018/05/05/introduction-gan/

实现方法如下：onehot_label = np.array([[1 if i == l else 0 for i in range(n_class)] for l in label])用一个简单的例子解释更加直观：label是训练数据集对应的标签数组，假设为：[0,0,1,1,2,2]，n_class为总类别数，这里是3从后向前分析这句代码，分别取出label中的每一个标签作为l，i从...

聚类是一种非常重要的无监督学习方法，聚类分析发展至今已经出现了多种不同的算法，层次聚类是其中的典型代表，python作为机器学习编程的有力工具，对多种聚类方法进行了集成，本文主要介绍利用python中集成的包进行层次聚类。层次聚类首先需要选定一种距离度量，基于这种度量获取所有样本的距离矩阵。初始时先把每个点作为一个单独的簇，然后要再选定一种衡量簇与簇之间距离的度量，基于这种度量合并两个最近的簇，...