ZhangPY的专栏

【计算机视觉】多示例学习问题描述有这样的训练数据，给定的标签是按照包 bag 来组织的，也就是说 positive 的包至少含有一个正样本，而 negative 的包中都是负样本。如何训练模型实现良好的分类效果？这正是多示例学习所研究的问题设定。在应用中的对照特别是目标检测、跟踪中，负样本很好选取，而最优正样本则很难。通常正样本的选取是在标记的矩形框附近做一些扰动，得到一堆儿框放入 pos...

【计算机视觉】如何用传统方法在实现目标检测？问题描述深度学习虽然很火热，但是数据量不大的时候，深度学习的性能还是比较差的，最主要的是模型能力太强，学出来之后不能泛化，因此一种可选的方法就是 不要处处都是深度模型，试试返璞归真的传统方法。传统方法基本上传统机器方法最直观的就是分类、回归，而对于计算机视觉中级任务：目标检测 该如何下手呢？一种最直观的想法就是用滑动窗口 sliding wind...

【计算机视觉】如何用传统方法在小样本数据集上实现语义分割模型？问题描述深度学习虽然很火热，但是数据量不大的时候，深度学习的性能还是比较差的，最主要的是模型能力太强，学出来之后不能泛化，因此一种可选的方法就是 不要处处都是深度模型，试试返璞归真的传统方法。传统方法基本上传统机器方法最直观的就是分类、回归，而对于计算机视觉中级任务：语义分割 该如何下手呢？一种最直观的想法就是对像素逐个进行分类...

【计算机视觉】关于partial cross entropy loss用于弱监督语义分割中的说明弱监督标签以两类别语义分割为例，背景和前景，给定的弱监督标签是只对前景个一小部分进行了标注。这个只是直接拿这个弱监督标签进行训练，会有一定的问题，因为大部分的前景标签都没有标注出来，所以前景类别会受到较大的抑制。GT标签：Weak标签：采用 partial cross entropy loss...

【计算机视觉】使用 Permutohedral Lattice 进行快速高维度滤波大一统的高维高斯滤波表达式对任意的位置 pi 处的值 vi 进行滤波，与具有临近位置的其它值进行混合。通常这些值 vi 是均匀的像素颜色。如果位置 pi 是两维的像素位置，那么该公式表达的是高斯模糊 Gaussian blur。如果位置 pi 是像素位置与颜色的联合，比如x,y,r,g,b共五维，那么该公...

【计算机视觉】no-local means方法大一统的高维高斯滤波表达式对任意的位置 pi 处的值 vi 进行滤波，与具有临近位置的其它值进行混合。通常这些值 vi 是均匀的像素颜色。如果位置 pi 是两维的像素位置，那么该公式表达的是高斯模糊 Gaussian blur。如果位置 pi 是像素位置与颜色的联合，比如x,y,r,g,b共五维，那么该公式表达的是颜色双边滤波 color ...

【计算机视觉】双边滤波 bilateral filter 方法大一统的高维高斯滤波表达式对任意的位置 pi 处的值 vi 进行滤波，与具有临近位置的其它值进行混合。通常这些值 vi 是均匀的像素颜色。如果位置 pi 是两维的像素位置，那么该公式表达的是高斯模糊 Gaussian blur。如果位置 pi 是像素位置与颜色的联合，比如x,y,r,g,b共五维，那么该公式表达的是颜色双边滤...

【计算机视觉】pydensecrf在windows上进行build的错误pydensecrf build 安装先clone下来源码：git clone https://github.com/lucasb-eyer/pydensecrf.git然后编译：python setup.py build_ext此时会出现类似如下的错误：C:\Program Files (x86)\Microsof...

【计算机视觉】pydensecrf在灰度图上的使用pydensecrf 安装直接 pip install git+https://github.com/lucasb-eyer/pydensecrf.git 即可安装对于灰度图的使用 addPairwiseBilateral 不 work典型的RGB图像设置二元势函数的方式 d.addPairwiseGaussian(sxy=20, ...

【计算机视觉】评估语义分割精确度的指标假设共有k+1k+1k+1个类（从L0L_0L0​到LkL_kLk​，其中包含一个空类或背景），pijp_{ij}pij​表示本属于类iii但被预测为类jjj的像素数量。即，piip_{ii}pii​表示真正的数量，而pijp_{ij}pij​ pjjp_{jj}pjj​则分别被解释为假正和假负，尽管两者都是假正与假负之和。像素精度（Pixel Accu...

【深度学习技术】小样本医学影像的深度学习关键技术之深度模型的可解释性深度模型的可解释性对于深度模型在医学影像上的应用十分重要。训练好的一个分类模型，怎样才能帮助到医生，其中可解释性是一种尝试。下图为在MURA数据集上训练的模型采用CAM对其最后层卷积输出进行可视化结果。详细工程：https://pengyizhang.github.io/2020/03/25/MIASSL-explanation...

【深度学习技术】如何用C++加载pytorch模型并进行推理部署 (三)“将C++ tensor图像拷贝至opencv Mat中”如何高效地从pytorch C++ tensor结构中将超分输出的图像拷贝至opencv用于后续处理 ─━ _ ─━✧ https://pengyizhang.github.io/2020/03/19/pytorch_script_cplusplusv32020...

【随机过程】马尔可夫链(2)标签（空格分隔）： 【信号处理】声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：马尔科夫链是一个离散的马尔科夫过程，本文主要对马尔科夫链的几个比较绕的概念进行理解，然后对马尔科夫链的状态分类进行阐释。几个概念首先一个非常值得提醒的就是，我们在学习随机过程的基础理论的时候会经常讲，但是到了介绍某几个具体的随机过程的详细知识的时候

【机器学习】机器学习中的各种相似性、距离度量标签（空格分隔）： 【机器学习】声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：主要参考了博文《漫谈机器学习中的距离和相似性度量方法》。具体的计算方法可以参看我的上一篇博文《【Matlab开发】matlab中bar绘图设置与各种距离度量》。本文主要关注点在于各个距离、相似度之间的优缺点，及使用时候的注意事项。1

【Matlab开发】matlab中bar绘图设置与各种距离度量标签（空格分隔）： 【Matlab开发】 【机器学习】声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/Matlab Bar图如何为每个bar设置不同颜色data = [3, 7, 5, 2;4, 3, 2, 9;6, 6, 1, 4];b = bar(data);使用bar绘制非常直观简单，但有

【编程开发】opencv实现对Mat中某一列或某一行的元素进行normalization标签： 【编程开发】 【机器学习】声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：在机器学习中，最常见的处理就是对输入的特征向量进行normalization，在opencv中就实现了normalize函数进行各种normalization，本文结合我的实际应用来进行

【随机过程】马尔可夫链标签（空格分隔）： 【信号处理】声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：马尔科夫链是一个离散的马尔科夫过程，本文主要对基本的研究思路和应用进行梳理，通过具体的实例来总结是一个非常好的尝试。马尔科夫链的一个应用案例：排队论比如客户服务排队，每个人所需的服务时间为Δt\Delta t，那么在Δt\Delta t内，有一个随机变量

【随机过程】随机过程之更新过程(2)标签（空格分隔）： 【信号处理】声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：关于更新过程，内容也不少，但是核心的知识点也只有几个，通过一个主要的例子，将大部分重要的概念加以梳理，会是一个很好的理解的方法。几个概念与泊松过程一样，几个重要概念无外乎XiX_i，SnS_n，N(t)N(t)。XiX_i在泊松过程中是到达

【随机过程】随机过程之更新过程(1)标签（空格分隔）： 【信号处理】声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/相比泊松过程，更新过程约束更少，算是对泊松过程的一个推广。我们知道下面的几个定义是可以推出泊松过程的： 1. 随机变量XiX_i独立同分布（iid），服从的是参数为λ\lambda指数分布；对应到达时间间隔 2. 随机变量Sin=∑ni=1X

【随机过程】随机过程之泊松过程的推广声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/泊松过程的两个定义def 1: 计数过程，增量独立，增量服从泊松分布； def 2: 增量独立，增量平稳，增量的一般性（足够小的时间里事情发生的次数超过1件的概率是时间段的一个高阶无穷小量）。两个概念是等同的。泊松过程的建模稀有时间，短时间内为小概率事件，但长期看来却具有

【随机过程】随机过程之泊松过程的直观理解声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/泊松过程一个经典的case是这样子的：一条工艺装配线，由若干个元件构成，消耗品，每个元件都会损坏并更换。元件的更换就是一个泊松过程，N(t) = n表示从0到t的时间里元件更换了n次，t为观测点，那么SN(t)S_{N(t)}表示的是第n次更换元件的时刻，而SN(t)+1S

几种容易混淆的概率分布标签（空格分隔）： 【信号处理】声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/伯努利分布：伯努利分布是一种离散分布,有两种可能的结果。1表示成功，出现的概率为p(其中0<p<10<p<1)。0表示失败，出现的概率为q=1−pq =1-p。二项分布：二项分布，即重复n次独立的伯努利试验。在每次试验中只有两种可能的结果，而且两种结果发生与否

假设检验与判决准则(一)说明：这里是统计信号处理中的关于信号检测的内容，本文讲述了假设检验的基本框架以及判决准则中的最大后验概率判决准则，并进一步讨论了似然比与门限电平，第一类错误：虚警和第二类错误：漏警，最后给出了一般的信号检测系统构成。后续博文将陆续更新其他类型的判决准则及其相关的内容。

Andrew Ng机器学习课程17(2)声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：主要介绍了利用value iteration和policy iteration两种迭代算法求解MDP问题，还介绍了在实际应用中如何通过积累“经验”更新对转移概率和reward的估计的学习模型，并结合两种迭代算法进行求解的完整过程。

Andrew Ng机器学习课程17声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：主要介绍了强化学习与监督学习的设定上的区别，以及强化学习的框架，结合着马尔可夫决策过程来公式化描述强化学习通常的形式。

说明：本系列博客是基于自动控制中的泛函分析课程笔记所构成，结合课下所进行的自主学习加以丰富，同时以实际的工程应用等任务为牵引，不注重数学理论本身，而主要关注数学理论所对应的工程应用。借用老师的一句话，能够站在更高的平台上看问题，视野才能更开阔。系列博客将被分到自动控制相关专栏，有兴趣的可以持续关注，博文也将随着课程持续更新。

Andrew Ng机器学习课程16声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：主要介绍了ICA算法，并利用最大似然估计和随机梯度上升算法进行求解，得到了ICA算法的迭代公式。主要用于从混叠信号中恢复出原始信号。 2015-10-9 艺少

Andrew Ng机器学习课程15声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/说明：主要介绍了主成分分析，从基本的直观观念出发逐渐推导至公式化的描述，得到解决PCA的奇异值分解方法。最后介绍了一下PCA的应用，对于特征的可视化压缩是一个非常直观的应用。 关于奇异值分解及其应用可以参看我的博文《 矩阵分解之奇异值分解》有着精彩而详细的论述。 201

Andrew Ng机器学习课程14(补)factor analysis的内容补充

引言：主要介绍了当数据量不足，利用EM算法对混合高斯模型进行建模时数据量比较少时，得到的协方差矩阵是一个奇异矩阵，即行列式为0，也就是协方差矩阵的逆矩阵是不存在的，所以也就无法使用混合高斯进行建模。需要对 协方差矩阵进行限制，比如对角阵或者是单位矩阵等。这样限制之后实际上是认为不同维的数据之间没有相关性，因此不能把握数据不同维之间的相关性。而本文介绍的factor analysis是采用EM思想，不依赖全协方差矩阵

Andrew Ng机器学习课程13引言：主要从一般的角度介绍EM算法及其思想，并推导了EM算法的收敛性。最后用一般的EM算法回顾了混合高斯模型的求解过程，并推导了通过EM算法求解混合高斯模型参数的过程。视频笔记会通过增补内容加以补充。

Andrew Ng机器学习课程12引言：主要讲述了batch learning和online learning的区别，然后介绍了经典的非监督算法：k-means算法。然后介绍了混合高斯模型以及求解时采用的EM算法。本文是基于lecture notes进行的总结，等上完视频课，会通过12课补充来丰富这些内容。

Andrew Ng机器学习课程11之使用machine learning的建议。

Andrew Ng机器学习课程11之贝叶斯统计和正则化 在统计学中有两个学派，一个是频率学派，另一个是贝叶斯学派。频率学派认为参数θ\theta是一个固定的值，而不是随机变量，只不过是不知道它的值而已；而贝叶斯学派则认为任何参数θ\theta都是一个随机变量，也有自己的概率分布。所以这两个学派分别形成了最大似

说明：《数学之美》之马尔科夫链的扩展——贝叶斯网络笔记贝叶斯网络马尔科夫链描述的是状态序列，很多时候事物之间的相互关系并不能用一条链串起来，比如研究心血管疾病和成因之间的关系便是如此错综复杂的。这个时候就要用到贝叶斯网络：每个状态只跟与之直接相连的状态有关，而跟与它间接相连的状态没直接关系。

最大熵模型总结声明：引用请注明出处http://blog.youkuaiyun.com/lg1259156776/摘要本文对最大熵模型进行了系统性的学习和总结，从不同的角度来解读熵的概念以及最大熵的内涵。对最大熵的具体应用进行了梳理，并介绍了与最大熵相关的一些概念，最后通过一个简单的demo来对最大熵模型进行直观的认识和感悟。引言熵，忘了第一次接触是在物理课上还是在化学课上，总...

压缩感知及实验分析摘要压缩感知的主要内容有三个：信号x的稀疏表示；设计测量矩阵，在降维的同时，保证原始信号x的信息损失最小；设计信号恢复算法，利用降维后的观测值无失真地恢复原始信号x。根据压缩感知理论，基于Matlab平台，做了最简单的一维信号的压缩感知实验。压缩感知原理压缩感知的理论依据<1> 如果信号x在某个正交基ψ上是k-稀疏的 说明：信号x可以通过正交基ψ分解得到对应的系数s，即x=ψ×s

矩阵分解之奇异值分解引言首先说矩阵，矩阵是一个难理解的数学描述，不管是在本科阶段的线性代数课上还是在研究生阶段的矩阵分析课上，都没有使我对矩阵产生什么好感，虽然考试也能过关，基本知识也能理解，但就是不知道有卵用。直到接触了机器学习相关算法论述时，发现好多的机器学习算法最终的描述都是通过矩阵分析相关知识推导而来，才知道了矩阵分析是非常有用的，但是到现在为止，还是没有什么好感。然后为什么要讲到奇异值分解

Andrew Ng机器学习课程10补充VC dimension讲到了如果通过最小化训练误差，使用一个具有d个参数的hypothesis class进行学习，为了学习好，一般需要参数d的线性关系个训练样本。到这里需要指出一点，这个结果是基于empirical risk minimization得到的，而对于那些大部分的discriminative的学习算法采用的通过最小化training error或

Andrew Ng机器学习课程10VC dimension， model selection，feature selection