m0_38024592的博客

文章目录概览Dual Representation 双重表征概览基本概念：kernel的本质：在原空间中不好划分，可以经过一个空间变换，即经过一个非线性的函数变换，（不一定是变换到高维空间），在变换后的空间中可能容易线性划分。另一个比较重要的感念：kernel function下图最后的公式是求高纬度空间两个点的内积，经转换得到原低纬空间中两点内积的函数。将这个函数定义为kernel...

Reference:https://blog.youkuaiyun.com/guoziqing506/article/details/81328402

一，随机森林随机森林是一个用随机方式建立的，包含多个决策树的集成分类器。其输出的类别由各个树投票而定（如果是回归树则取平均）。假设样本总数为n，每个样本的特征数为a，则随机森林的生成过程如下：从原始样本中采用有放回抽样的方法选取n个样本； 对n个样本选取a个特征中的随机k个，用建立决策树的方法获得最佳分割点； 重复m次，获得m个决策树； 对输入样例进行预测时，每个子树都产生一个结...

在机器学习问题中，通常将特征表示为向量的形式，所以在分析两个特征向量之间的相似性时，常使用余弦相似度来表示，其取值范围为[ -1, 1]。 如果希望得到类似于距离的表示，余弦距离 = 1 - 余弦相似度，其取值范围为[ 0， 2 ]，即相同的两个向量余弦距离为0。当一对文本相似度的长度差距很大、但内容...

快速概览：香农熵 -- 熵的定义交叉熵 -- 一般可做为分类模型的损失函数 （交叉熵是由相对熵转化过来的，交叉熵 = 相对熵 - 熵 ），对于采样的数据（训练集，熵H 是定值，故交叉熵 和 相对熵 做损失函数是等价的。）相对熵 -- KL散度条件熵 -- 信息增益（也叫互信息）= 熵 - 条件熵，决策树ID3算法依据就是信息增益 information gain香农熵19...

在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵(confusion matrix)的工具，它可以帮助人们更好地了解分类中的错误。比如有这样一个在房子周围可能发现的动物类型的预测，这个预测的三类问题的混淆矩阵如下表所示：利用混淆矩阵...

Fisher是英国统计与遗传学家，现代统计科学的奠基人之一，并对达尔文进化论作了进一步工作。安德斯·哈尔德称他是“一位几乎独自建立现代统计科学的天才”，几乎现在经典的统计方法都有他的贡献。Fisher精确检验便是以他的名字命名的统计方法，这个统计方法也和他本人一样牛，可以将所有R×C列表的精确概率计算出来。但在应用Fisher精确检验时常有比较严格的条件，为什么要设定这些条件呢?另...

函数距离 和 几何距离

1.2 what's is machine learning考虑使用机器学习，相应问题应满足3要素：问题具有某种特定的模式 pattern 问题不好用传统编码的形式解决 program 有较为充足的训练数据 data...

这几个概念可以用“原因的可能性”和“结果的可能性”的“先后顺序”及“条件关系”来理解。下面举例：隔壁老王要去10公里外的一个地方办事，他可以选择走路，骑自行车或者开车，并花费了一定时间到达目的地。在这个事件中，可以把交通方式（走路、骑车或开车）认为是原因，花费的时间认为是结果。若老王花了一个小时的时间完成了10公里的距离，那么很大可能是骑车过去的，当然也有较小可能老王是个健身达...

转载自https://blog.youkuaiyun.com/u011508640/article/details/72815981留言里有评论说：博主在文末的时候说MLE是把先验概率P(θ)认为等于1，是不是不太对。应该是MLE可以看做MAP的一个特例，它把先验概率分布看做均匀分布，所以P(θ)是常数，因此P(θ)就不用出现在目标函数里了。我认为：MLE确实是把先验概率P(θ)认为等于1。...

 　　　　K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。1. K-Means原理初探　　...

前言：　 本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。其中，梯度消失爆炸的解决方案主要包括以下几个部分。- 预训练加微调- 梯度剪切、权重正则（针对梯度爆炸）- 使用不同的激活...

导数（偏导）为零的点不一定只是local minimal（局部最小值）也可能是saddle point（鞍点）。     

表一 满足什么情况才去玩高尔夫 Day Temperatrue Outlook Humidity Windy PlayGolf? 07-05 hot sunny high false no 07-06 hot sunny high true no 07-07 hot overcas...

先来一张思维导图：        坊间常说：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。纵观Kaggle、KDD等国内外大大小小的比赛，每个竞赛的冠军其实并没有用到很高深的算法，大多数都是在特征工程这个环节做出了出色的工作，然后使用一些常见的算法，比如LR，就能得到出色的...

统计机器学习：    1）以数据（以离散数据为主）为研究对象，是数据驱动的学科。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去！（关于数据的假设是同类数据具有一定的统计规律性，这是统计学习的前提。）    2）目的是对数据进行预测与分析（通过构建概率统计模型实现）    3）以方法为中心，方法用以构建模型并应用模型进行分析--监督学习、无监督学习、半...

机器学习(ML), 自然语言处理(NLP), 信息检索(IR)等领域, 评估(Evaluation)是一个必要的工作, 而其评价指标往往有如下几点: 准确率(Accuracy), 精确率(Precision), 召回率(Recall) 和 F1-Measure.(注：相对来说，IR 的 ground truth 很多时候是一个 Ordered List, 而不是一个 Bool 类型...