wuyanxue的专栏

多标签学习研究综述

FastXML是一种经典的极限多标签学习的方法，作者提供了完整的C++。先前编译成功并运行该代码，且添加了调试支持。本文将系统研究FastXML的代码。

FastXML运行和评价EURLex-4k数据集

质心跟踪算法实现过程这里目前只给出了CPU版本，GPU版本的后续补上。我在网上看的大部分质心跟踪算法不是正统的目标跟踪，而是在多目标跟踪中结合目标检测算法不同帧之间的相同目标做一个link。调研过程没有发现有相对比较完整的质心跟踪算法的实现，本文主要利用c++实现了质心跟踪算法，主要参考：https://wenku.baidu.com/view/ce958ce30a1c59eef8c75fbfc77da26924c59668.htmlhttps://wenku.baidu.com/view/047

贝叶斯滤波框架下的卡尔曼滤波卡尔曼滤波可以在贝叶斯滤波的框架下进行解释, 在讲解卡尔曼滤波之前, 我们先说说贝叶斯滤波.主要参考：https://blog.youkuaiyun.com/varyshare/article/details/97642209https://blog.youkuaiyun.com/varyshare/article/details/97642209https://www.cnblogs.com/ycwang16/p/5999034.htmlhttps://blog.youkuaiyun.com/weixi

基本概率统计知识摘要：闲来无事，把基础的概率统计知识复习一遍，主要参考方开泰《统计分布》。文章目录基本概率统计知识事件和概率随机试验事件的运算概率及其公理化定义几种概率计算方法*概率的公理化定义条件概率独立性References随机变量及其分布离散型随机变量连续型随机变量分布函数随机变量的特征数数学期望方差高阶矩众数、分位点和中位数矩母函数与特征函数随机向量及其分布随机向量分布函数边缘分布和独立性条件分布事件和概率随机试验在一定条件下一定出现的现象叫必然事件，在一定条件下必然不出现的现象叫不可能事

本文记录了几种主流的聚类算法的评价指标。主要参考文献：《机器学习》-周志华。 其中，我们重点关注聚类精度（ACAC）这种评价指标的原理及实现。大体上，聚类算法的评价指标分为两种， 0） 外部评价指标 1） 内部评价指标外部评价指标是在真实标签已知的情况下，衡量聚类结果与真实标签之间的吻合程度。常用的有以下几个： 0）Jaccard Coefficient （JCJC）； 1）Fowlkes

1. FastXML是对特征空间进行划分，本文进一步拓展了PfastreXML以同时支持特征空间和标签空间。2. 将标签空间表征为word2vec embedding.

本文提出了倾向性得分的损失，也是比较流行的评价指标。倾向性得分表征标签的稀缺性，同时本文认为比较稀缺的标签的重要性应该更高，因此标签的倾向得分是作为分母融入到nDCG中的。另外本文也提出了一个分类器用于处理tail labels，这基于作者的一个观点：FastXML的树状分类器还是容易在tail labels上赋予更低的概率。该分类器与树状分类器的结果加权平均，就得到了样本的最终分类结果。优点：利用倾向得分对missing label进行建模，似乎符合直觉。

本文提出了一种基于聚类的随机森林集成方法进一步提升了XMC的分类性能。关键点：(1) 对样本标签进行聚类，k个簇构成k个子节点。(2) 对样本和标签都进行低维映射，降低了计算复杂度。优点：实现简单，易于理解，不依赖复杂的优化scheme，计算复杂度低；缺点：不容易确定簇的个数。

概率标签树学习笔记。

FastXML阅读笔记

极限多标签分类的典型应用：Image Caption（头大）。由于标签数非常多，且GroundTruth又非常小，因此通常意义上的分类精度、召回(多标签分类用macro或者micro的acc或者recall)等指标不work。是指彼此相关的标签对，比如针对一个数据点，如果预测了标签A，如果标签B和A相关，那可以自然预测B。有些数据集包含一些频度很高的标签（通常称之为head labels），可以通过简单地重复预测头部标签来实现高的。标签数非常多（Million），典型的就是BoW数据标签。

This paper systematically concludes the classical loss functions for hierarchical multi-label classification (HMC), and extends the Hamming loss and Ranking loss to support class hierarchy.

转载：https://cosx.org/2013/01/lda-math-mcmc-and-gibbs-sampling，写的由浅入深。列出一些纲要：在计算机内，产生均匀分布随机数的方法简单，线性同余。高斯分布，T分布，Gamma分布等分布类型的随机数可以通过均匀分布随机数来变换得到。复杂的，或者自己定义的概率分布的随机数可以通过MCMC采样方法得到。它是基于这样一个准则：可以通过构造Markov链的状态转移矩阵，使得该链的平稳分布恰好是你的概率分布。...

最近在看支持向量机，对对偶问题不甚了解。就花了一些时间看了一下知乎上的解释和Andrew Ng的解释。以下是关于这个issue的总结。假设我们有如下优化问题（原问题）Problem 1: minf(x)minf(x)\min f(x) s.t.g(x)≤0,s.t.g(x)≤0,s.t. g(x) \leq 0, 为描述方便起见，我们假设只有一个不等式约束，多个不等式约束可以做简单...

最小二乘法是做拟合问题的一个常用的方法，最小二乘法的来源是怎样的呢？下面我们一起来探究一下，参考资料—–Andrew Ng 机器学习课程。回顾一下线性回归问题的优化目标θ∗=argminθ12∑ni=1(θTxi−yi)2=argminθ12||Xθ−y||2θ∗=argminθ12∑i=1n(θTxi−yi)2=argminθ12||Xθ−y||2\theta^* = argmin_{\...

GDA是生成学习方法的一个典型代表。判别学习方法是直接对P(y | x)进行建模，也就是说生成学习方法学到的是P(y | x)这样一个条件概率；另外一种判别学习方法是直接输出hθ(x)hθ(x)h_\theta(x)，表示预测结果是关于样本x的显式函数。生成学习方法是先对P(x | y)和P(y)进行建模，然后通过条件概率公式计算P(y | x)。在高斯判别分析中，假设不同类别的样本分...

SVM是一种经典的二分类模型，它可以被看作是感知机模型的扩展。本文首先介绍感知机模型，然后介绍支持向量机的推导过程及求解方法。参考资料—李航统计学习方法，西瓜书，Ng机器学习课程cs229-SVM。感知机感知机也是一个经典的二分类模型，它假设数据集是线性可分的。感知机的预测函数如下：hθ(x)=sign(θTx+b)h_{\theta}(x) = sign(\theta^Tx + b)，其中sign

Logistic Regression是一个经典的判别学习分类方法。参考资料—西瓜书&&机器学习公开课-Andrew Ng。 首先我们来看为什么Logistic Regression被称为对数几率回归。几率：将一个实例映射到正例或者负例的可能性比率。令P(y=1|x;θ)P(y=1|x;θ)P(y = 1 | x; \theta)表示将样本分类成正例的概率。那么P(y=0|x...

朴素Bayes方法是一个经典的生成学习方法，基本思想也是对P(x | y)这个后验概率进行建模。这里我们先说明一下什么是先验概率，以及什么是后验概率。先验概率谈先验概率之前有必要了解一下先验概率分布，不敢说本质，笔者对先验概率分布的了解如下：先验概率分布就是我们对一个事件所发生的概率分布假设。比如：抛硬币实验，我们认为在抛硬币实验进行前，硬币的出现结果服从：出现正面1和出现反面0的...

统计学习方法分为两个学派，一个是频率学派，一个是贝叶斯学派。频率学派采用极大似然估计的方法估计P(y|x;θ)P(y|x;θ)P(y | x; \theta)，注意到这里，频率学派认为θθ\theta是一个确定的值，所以用‘；’隔开。具体地，频率学派：max L(θ)=∏ni=1P(yi|xi;θ)max L(θ)=∏i=1nP(yi|xi;θ)max \text{ }...

Lagrange乘子法，参考资料 https://blog.youkuaiyun.com/shenxiaolu1984/article/details/55812344 以及西瓜书附录B.1，讲的很详细。

EM（Expectation Maximization）算法主要用来估计含隐变量的模型参数。我们先讲解EM算法的一般推导，然后列出EM算法的两个特例，k-Means和高斯混合模型。 参考资料： http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html 这个链接讲的很详细，我只是复述总结一下，再解决一些遗留问题。 在...

Adaboost是一种经典且重要的boosting集成学习方法。它重点关注在前一轮训练中出错的样本，即为其赋予更高的权重。从而使得下一轮的训练误差更小。Adaboost是加性模型的一个特例。我们先来看一下加性模型。加性模型(Additive model)加性模型的预测函数可以写为：f(x)=∑mi=1wib(x;γi)f(x)=∑i=1mwib(x;γi)f(x) = \sum_{...

ANN简介作为深度学习的基础，神经网络模型有着很重要的作用。我们来看一下ANN的定义：神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出交互反应。在经典ANN模型中，简单单元，即M-P神经元模型。

参数估计的三种方法机器学习有三种典型的参数估计方法，分别是极大似然估计(MLE)，极大后验估计(MAP)以及贝叶斯估计。除了参数估计，每种方法还对应有样本的密度估计。假设X=[xi]i=1nX=[x_i]_{i=1}^nX=[xi​]i=1n​。MLE极大似然是通过下式估计参数。θ∗=argmaxθP(X∣θ)\theta^* = argmax_\theta P(X|\theta)θ∗=a...

线性支持向量机 (Linear-SVM) 被用于线性可分的数据集的二分类问题，当数据集不是线性可分的时候，需要利用到核函数将数据集映射到高维空间。这样数据在高维空间中就线性可分。高斯核函数（Gaussian kernel），也称径向基 (RBF) 函数，是常用的一种核函数。它可以将有限维数据映射到高维空间，我们来看一下高斯核函数的定义： k(x,x′)=e−||x−x′||22σ2k(x, x')