wydbyxr的博客

http://blog.163.com/huai_jing@126/blog/static/1718619832011227757554/ 1 判别式模型（discriminative model） 产生式模型（generative model） 特点 寻找不同类别之间的最优分类面，反映的是异类数据之间的差异 对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身

本文摘自下面链接的部分内容。 原文入口：http://blog.sina.com.cn/s/blog_73040b820102wrme.html深蓝采用的是前面提到的约翰·麦卡锡提出的α-β剪枝算法。该算法的基本思想是，利用已经搜索过的状态对搜索进行剪枝，以提高搜索的效率。算法首先按照一定原则模拟双方一步步下棋，直到向前看几步为止，然后对棋局进行打分（分数越大表明对我方越有利，反之表明对对方有利）

机器学习中的各种学习方式　　以识别猫狗图像为例，区分以下几种学习方式： 1.监督学习：有标签的猫狗数据。 2.无监督学习：无标签的猫狗数据。 3.半监督学习：部分有标签的猫狗数据。 4.Transfer Learning(迁移学习)：有标签的猫狗数据、有标签的大象老虎的数据。 5.Self-taught Learning：有标签的猫狗数据、无标签的大象老虎美女的数据。 监督...

机器学习体系汇总监督学习 Supervised learning人工神经网络 Artificial neural network自动编码器 Autoencoder 反向传播网络 Backpropagation network 玻尔兹曼机 Boltzmann machine 卷积神经网络 Convolutional neural ne...

各种学习方式

无监督深度学习的历史　　无监督深度学习，除了强化学习，主要包括BM、自动编码器AE和GAN领域。 　　1）这些领域中的DBN和DBM是Hinton搞的。 　　2）AE中的经典，VAE是DP Kingma和M Welling搞得。 DP Kingma硕士导师是LeCun，LeCun的博士后导师是Hinton，并且Welling的博士后导师是Hinton。 　　3）而GAN是Ian Go...

自动特征工程　　自动工程的三个方向，隐式特征组合（如NN，FM），半显式特征组合（如GBDT）与显式特征组合（显式特征叉乘）。 隐式特征组合　　主要特点是对连续值特征非常友好，最成功的应用场景是语音和图像但是深度神经网络并不是万能的，在深度学习中，高维离散特征的变量处理非常复杂，同时缺乏可解释性，过于黑盒化也是神经网络大家关注的焦点。这样会导致深度学习出来的特征组合相对难用...

特征工程　　特征工程应包括两部分:特征抽取和特征挑选 特征抽取的方法　　1）按业务常识抽取。简单点来说，就是通过对你需要分类 / 预测等领域的先验知识来进行抽取，比方说，要区分男生和女生，直接使用性特征肯定要比其他的身高体重这些数据的准确率要高。 　　当然，考虑到每一个人都不可能所有知识都精通，当面对一个陌生的业务领域时，建议优先提取 X1/X2 这样形式的特征...

合成特征（synthetic feature）　　不在输入特征中，而是从一个或多个输入特征中派生出的特征。 　　合成特征的类型包括：1. 特征与自己或其他特征相乘（叫作特征交叉）。2. 两个特征相除。3. 将连续的特征放进 range bin 中。　　注意，由归一化或缩放单独创建的特征不是合成特征。...

统计关系学习　　独立同分布iid和统计关系学习 是不同于 迁移学习的！！！！ 　　传统机器学习模型假设数据是独立同分布的 (independent and identically distributed, iid)，也就是说，数据样本之间相互独立，不存在任何关系。然而，实际上有许多都是有关系的，比如学术论文之间存在引用关系等。我们把这种样本之间存在关系的数据叫做关系数据 (relationa...

机器学习的问题类型　　一般分为四大类型： 1）分类（classification） 2）回归（regression）： 3）聚类（clustering）：数据没有被标注，但是给出了一些相似度衡量标准，可以根据这些标准将数据进行划分。如在一堆未给出名字的照片中，自动的将同一个人的照片聚集到一块。 4）规则抽取（rule extraction）：发现数据中属性之间的统计关系，而不只是预测一...

联合规则学习（Association Rule Learning）　　联合规则学习是用来对数据间提取规律的方法，通过这些规律可以发现巨量多维空间数据之间的联系，而这些重要的联系可以被组织拿来使用或者盈利。 　　有Apriori algorithm；Eclat algorithm...

排序算法（Learning to Rank）主要应用 document retrieval(文献检索) expert search(专家搜索) definition search(定义搜索) collaborative filtering(协同过滤) question answering(问答) keyphrase extraction(关键词...

子空间估计（subspace estimation）和主成分分析（principal component analysis）相同点　　都是无监督学习。 　　不同点　　我们可以用少量的参数，准确地捕获数据的相关属性吗？球的轨迹可以很好地用速度，直径和质量准确描述。裁缝们也有一组参数，可以准确地描述客户的身材，以及适合的版型。这类问题被称为子空间估计（subspace estim...

降维（Dimensionality Reduction）　　与聚类方法类似，对数据中的固有结构进行利用，使用无监督的方法学习一种方式，该方式用更少的信息来对数据做归纳和描述。这对于对数据进行可视化或者简化数据很有用，也有去除噪声的影响，经常采用这种方法使得算法更加高效。 　　常规的降维方法： Principal Component Analysis (PCA) Partial ...

度量学习（Metric Learning）　　这种方法通过学习出一个能够高效学习的度量空间来实现。这种方法在少量分类应用最为广泛。直观上来讲，如果我们的目标是通过少数样本图像来进行学习，一种简单的方法就是比较需要分类的图像和已有的图像。但在像素空间上来进行图像比较可能会得不到很好的结果。但我们可以训练一个Siamese网络或者是在学习到的度量空间中进行比较。 少量学习(Few-shot...

K-mean与高斯混合模型（K-means算法和EM算法）　　两者的差别在哪里？ 　　答：优快云博主JpHu说，K-Means算法对数据点的聚类进行了“硬分配”，即每个数据点只属于唯一的聚类；而GMM的EM解法则基于后验概率分布，对数据点进行“软分配”，即每个单独的高斯模型对数据聚类都有贡献，不过贡献值有大有小。 　　参考资料：https://blog.youkuaiyun.com/tingyue_...

predictor　　predictor是指：基于这个变量，我们可以预测另一个变量的值。也就是说，predictor是自变量。在英文专业术语中，自变量被称为predictor或者independent variable。相对应地，因变量的专业术语可以是dependent variable或者outcome variable。 统计学机器学习术语　　特征向量：模型接受的输入通常称为...

决策边界 (decision boundary)　　在二元分类或多类别分类问题中，模型学到的类别之间的分界线。两种类别之间明确定义的边界。 　　例如，在以下表示某个二元分类问题的图片中，决策边界是橙色类别和蓝色类别之间的分界线： 压缩感知CS与DL　　压缩感知完全基于模型（model-based），有很好的结构，经过严谨的数学建模。深度学习则完全反过来，模型非常灵活，需要通...

粒子群算法　　粒子群优化算法(PSO：Particle swarm optimization) 是一种进化计算技术（evolutionary computation）。 　　源于对鸟群捕食的行为研究。粒子群优化算法的基本思想：是通过群体中个体之间的协作和信息共享来寻找最优解． 　　PSO的优势：在于简单容易实现并且没有许多参数的调节。目前已被广泛应用于函数优化、神经网络训练、模糊系统控制以...

围棋中的蒙特卡洛方法　　其思想很简单，对于当前棋局，随机地模拟双方走步，直到分出胜负为止。通过多次模拟，计算每个可下棋点的获胜概率，选取获胜概率最大的点走棋。 　　在围棋程序中实际使用的是一种被称为蒙特卡洛树搜索的方法，边模拟边建立一个搜索树，父节点可以共享子节点的模拟结果，以提高搜索的效率。是二十世纪40年代中期由S.M.乌拉姆和J.冯·诺伊曼提出的一类随机模拟方法的总称，其名称来源于摩纳...

Bayesian Program Learning　　「贝叶斯程序学习」（BPL，Bayesian Program Learning），能让计算机系统对人类认知进行很好的模拟。但现在有关bayesian的研究放缓。 　　传统的机器学习方法需要大量的数据来训练，而这种方法只需要一个粗略的模型，然后使用推理算法来分析案例，补充模型的细节。在数据量巨大但较混乱的情况下，深度学习能发挥优势；而在数据...

集成学习（Ensemble Learning）　　集成学习是机器学习中一个非常重要且热门的分支，是用多个弱分类器构成一个强分类器，其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类器可以由决策树，神经网络，贝叶斯分类器，K-近邻等构成。这些算法可以是不同的算法，也可以是相同的算法。已经有学者理论上证明了集成学习的思想是可以提高分类器的性能的，比如说统计上的原因，计算上的原因以及表示上的原因。 ...

Bagging　　可以看成是一种圆桌会议, 或是投票选举的形式. 通过训练多个模型, 将这些训练好的模型进行加权组合来获得最终的输出结果(分类/回归)。即Bagging predictor 是一种生成多个预测器版本然后生成聚合预测器的方法。一般这类方法的效果, 都会好于单个模型的效果. 在实践中, 在特征一定的情况下, 大家总是使用Bagging的思想去提升效果。 　　训练时, 使用repl...

Boosting　　Boosting 指使用加权平均值使弱的学习器变强的一组算法。与 Bagging 不同，每个模型单独运行，最后在不偏向任何模型的前提下聚合输出结果。Boosting 是一项「团队工作」。每个模型决定下一个模型要关注的特征。 　　Boosting 也需要 Bootstrapping。但是，这里还有一个区别。与 bagging 不同，boosting 为每个数据样本加权。这意...

Bootstrapping　　bootstrap sample是什么? OOB(out of boostrap)是什么? 　　boostrap sample: 是一种从给定训练集中有返回的均匀抽样, 也就是, 每当选中一个样本, 它等可能地再次被抽中, 并被添加到训练集中。 　　机器学习中，Bootstrap 方法指的是借助替换的随机采样，它是一个重采样，允许模型或算法更好地理解存在于其...

决策树（Decision Tree）　　决策树可以看成为一个 if-then 规则的集合。决策树方法建立了一个根据数据中属性的实际值决策的模型。决策树用来解决分类和回归问题。 　　机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决...

随机森林（random forest）随机森林的构造过程　　1. 假如有N个样本，则有放回的随机选择N个样本(每次随机选择一个样本，然后返回继续选择)。这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本。　　2. 当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件m << M。然后从这m个属性中采用某种策略（比...

随机蕨（random ferns）　　可以用于人脸对齐。归到底，random forest和random ferns都是一种东西。

因子图（factor graph）　　Factor Graph 是概率图的一种，概率图有很多种，最常见的就是Bayesian Network (贝叶斯网络)和Markov Random Fields(马尔可夫随机场)。 　　在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是可以把Bayesian Network和Markov Random Fields 转换成F...

Bag of Features（BOF）　　对于程序而言这个人就是一堆像素嘛，让它直接找的话它只能一个个像素的去比较然后返回最接近的了（近邻算法）。但是现实中物体的形状颜色会发生变化，如果手头又只有这一张照片，直接去找的速度和正确率实在太低。 　　有研究者想到，可以把这个人的照片拆成许多小块，然后一块一块的比较(方法叫Bag of Features)。最后哪一块区域相似的块数最多就把那片区域...

协同推荐/协同过滤（collaborative filtering）　　它最早源自电子商务，之后应用越来越广,在很多不同的领域都有协同推荐算法的相关应用，例如医疗等。 　　简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息，个人通过合作的机制给予信息相当程度的回应（如评分）并记录下来以达到过滤的目的进而帮助别人筛选信息，回应不一定局限于特别感兴趣的，特别不感兴趣信息的纪...

K最近邻(kNN，k-NearestNeighbor)分类算法　　是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。 　　kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的...

条件随机场（CRF，Conditional Random Field）　　是近几年自然语言处理领域常用的算法之一，常用于句法分析、命名实体识别、词性标注等。 　　2001年提出的，基于遵循马尔可夫性的概率图模型。 　　条件随机场（conditional random field，CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随...

bounding box overlap（IoU）即Intersection over Union，交并比。IoU的值定义：Region Proposal与Ground Truth的窗口的交集比并集的比值，如果IoU低于0.5，那么相当于目标还是没有检测到。　　而2014年以来出现的MS COCO竞赛规则把这个IoU变成了0.5-1.0之间的综合评价值，也就是说，定位越准确，其得分越高。复杂的...

非极大值抑制(NMS,Non-maximum suppression)  在object dection中应用非常广泛，简单地说，他就是对一些region proposals（物体的候选框）进行筛选，得到最佳的物体检测位置。 顾名思义就是把非极大值过滤掉（抑制）。使用   1）非最大抑制是回答这样一个问题：“当前的梯度值在梯度方向上是一个局部最大值吗？” 所以,要把当前位置的梯度值与梯度方向...

感兴趣区域(ROI,region of interest)  机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。   在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子（Operator）和函数来求得感兴趣区域ROI，并进行图像的下一步处理。 在图像处理领域，感兴趣区域(ROI) 是从图像中选择的一个图像...

常用度量–MAE和RMSE  MAE和RMSE是关于连续变量的两个最普遍的度量标准。定义  1）我们看看最流行RMSE，全称是Root Mean Square Error，即均方根误差，它表示预测值和观测值之间差异（称为残差）的样本标准偏差。  2）MAE，全称是Mean Absolute Error，即平均绝对误差，它表示预测值和观测值之间绝对误差的平均值。  MAE是一种线性分数，所...

标准化  假设样本集X的数学期望或均值(mean)为m，标准差(standard deviation，方差开根)为s，那么X的“标准化变量”X*表示为：(X-m）/s，而且标准化变量的数学期望为0，方差为1。  标准化后的值 = (标准化前的值－分量的均值)/分量的标准差...