李滚滚的博客

参考：http://kubicode.me/2015/08/16/Machine%20Learning/Common-Interview/?from=singlemessage#http://blog.youkuaiyun.com/heyongluoyao8/article/details/49429629http://lib.youkuaiyun.com/article/machinelearning/33798htt...

文章目录1 简介1.1 GNN简史1.2 GNN的相关研究1.3 GNN vs 网络嵌入1.4 文章的创新型2 定义3 分类和框架3.1 GNNs分类3.2 框架4 图卷积网络4.1 基于光谱的GCN4.1.1 背景4.1.2 基于光谱的GCN方法4.1.3 总结4.2 基于空间的GCN4.2.1 基于循环的空间GCNs4.2.2 基于组合的空间GCNs4.2.3 空间GCNs的其他变体4.3 图...

文章目录一 模型1.1 线性可分支持向量机与硬间隔最大化1.2 线性支持向量机与软间隔最大化1.3 非线性支持向量机与核函数二 策略三 算法[序列最小最优化算法SMO]支持向量机  二分类模型       基本模型：定义在特征空间上的间隔最大的线性分类器，间隔最大使之区别于感知机       扩展 模型：核技巧，实质上成为非线性分类器       学习策略：间隔最大化，形式化为求解凸二次规...

1.比较感知机的对偶形式和线性可分支持向量机的对偶性形式。感知机原始形式： min⁡w,bL(w,b)=−∑xiϵM(yi(w⋅xi+b))\min_{w,b} L(w,b) = - \sum_{x_i\epsilon M}(y_i(w\cdot x_i+b))w,bmin​L(w,b)=−xi​ϵM∑​(yi​(w⋅xi​+b))MMM为误分点的集合。等价于min⁡w,bL(w,b)=∑i=1...

Matlab基于主分量的人脸重建显示。

文章目录一 从应用问题引入1.1 从HMM到CR——自然语言处理1.2 [如何轻松愉快地理解条件随机场（CRF）？](https://www.jianshu.com/p/55755fc649b1)二 概率无向图模型2.1 概率图模型定义2.2 概率无向图的因子分解三 条件随机场（CRF）基本问题四 CRF概率计算问题五 CRF训练算法六 CRF预测算法  摘要：数学之美致力于普通人群也能看懂，所...

强烈推荐徐亦达老师关于EM算法的讲解视频，本文根据徐老师和李航老师统计学习方法整理，由于公式推导太多，笔记为手写。其中包含混合高斯模型的理解，形象化解释，以及习题链接。习题习题9.1和9.3习题9.4...

文章目录一 自然语言处理与隐马尔科夫模型（HMM）二 隐马尔科夫模型（HMM）基本概念三 HMM概率计算方法（前向算法与后向算法简化）四 HMM的学习算法（模型训练求解模型参数）五 HMM预测算法（维特比算法）  主要对《数学之美》隐马尔科夫模型，维特比和他的维特比算法、《统计学习方法》第十章、徐亦达HMM概率模型的内容进行总结消化。  隐马尔科夫模型(HMM)最初应用于通信领域，继而推广到语...

  本文摘自深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件，由于原文公式看着实在头疼，重新整理了一遍，有需要可以交流。  在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个...

AP（Affinity propagation）基于近邻传播的半监督聚类算法。主要参考：AP总结基本思想通过信息传递机制 搜索 网络中 各个数据点的聚类中心，以及数据点与数据中心之间的隶属度关系根据数据中心与顶点之间的隶属度关系来对待聚类数据集进行划分，形成若干个具有特定意义的子集。优点聚类过程中不需要明确确定与聚类个数相关的参数聚类中心是待聚类数据的某个确切的数据点算法的输入...

习题6.1确认逻辑斯蒂分布属于指数族分布指数族分布,满足一下形式P(y;η)=b(y)exp(ηTT(y)−a(η))P(y;\eta) = b(y)exp(\eta^TT(y)-a(\eta))P(y;η)=b(y)exp(ηTT(y)−a(η))η被称为分布的自然参数（也称为规范参数）T(y)是充分统计量（通常情况下有T(y)=y）a(η)被称为对数划分函数。这一项本质上是起到了正则化...

什么是强化学习浪漫的理工男

CNN卷积神经网络接触很久了，但是总感觉有一种很朦胧的感觉，今天按照自己的理解重新整理了一下思路。

该方法做的视频相关检测，实验部分没有多做研究，但是其从非局部均值滤波扩展来的非局部均值块可以提取很多长距离依赖的相关性，实验效果非常不错，这一思想可以运用在很多应用当中，例如多维的高光谱图像。另： 卷积可以看成局部滤波快，一个卷积核不同像素点有不同的权重，与原始图像块进行权重乘相加。self-attention 模块在很多实验中都有所应用，尤其是序列核语言的应用中用的最多。根据《All y...

引言图像，通常被理解为矩阵，矩阵的每个元素是像素，像素是（Red，Green，Blue）三个数值组成的向量。换个角度，矩阵也可以理解为图谱（Graph），图谱由点（node）和边（edge）组成。相邻的点之间，有边相连。而矩阵是一种特殊的图谱，特殊性表现在两方面：**矩阵每个点有固定个数的邻点。**从图谱的角度看，图像中的像素，就是图谱中的点。图像中每个像素，也就是图谱中的每个点，周边总共...

骨架堆叠 KNN attention pooling layers , 是 Graph Attention Networks的泛化，首先不需要提前计算图，which is difficult for some kind of data（有没有graph都可以），其次不需要输入整幅图，将图分割有利于计算。...

发布文章 博文管理我的博客退出 Trash Temp 《统计学习方法》——第二章感知机 《统计学习方法》——第一章 卷积神经网络(CNN) Input : 特征向量Output : 类别（+1/-1） 【二分类】直接学习f 或者P(Y|X) ——> 判别模型模型：f(x)=sign(wTx+b)f(x)=s...

Input : 特征向量Output : 实例类别基本分类回归问题，不具显示学习过程，整个过程有三个学习要素K值选择 [一般使用交叉验证的方法选择K值，使经验误差最小][K小，模型复杂，容易过拟合，受噪声影响较大；K大，模型简单（K=N）]距离度量 [包括各种距离度量公式，p范数，以及各种改进的相似性度量方法][不同的距离测量公式得到的K邻近点是不一样的]分类决策准则 （如多数表决...

发布文章 博文管理我的博客退出 Trash Temp 《统计学习方法》——第二章感知机 《统计学习方法》——第二章感知机及C++实现 《统计学习方法》——第二章感知机及C++实现 《统计学习方法》——第三章KNN及C++实现 《统计学习方法》——第三章及C++实现 《统计学习方法》...

发布文章先感叹一下，C++水平真的差啊~~~~人生苦短，我用Python决策树是一种基本的分类与回归模型，呈树形结构。可以看作if-then的处理结构，也可以看作条件概率分布，对特征空间进行划分，在子特征空间进行类别判断，大于阈值则属于子空间的类别。优点： 可读性强，分类速度快（学习模型构建树的时候比较慢，但是一般模型都是离线的，所以问题不大）1 模型由结点和有向边组成，结点有两种类型，...