YM的博客

n目录Bias and VarianceAggregation ModelsWhy Aggregation?Aggregation Typeparallel methods：sequential methods：Blending and BaggingUniform Blendingfor classificationfor regression...

1、最大熵思想与最大熵模型 我们平常说的最大熵模型，只是运用最大熵思想的多分类模型，最大熵的思想却是一种通用的思维方法。2、最大熵思想 最大熵的思想是，当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布，如果你对这个分布知道一些情况(先验知识)，那么，就猜满足这些情况的熵最大的分布。3、运用最大熵思想来做多分类问题...

损失函数=代价函数，都用于衡量模型拟合的程度。比如：，损失函数越小就代表拟合得越好。关于训练集的平均损失称作经验风险(empirical risk)，即，所以我们的目标就是最小化，称为经验风险最小化。但仅仅经验风险最小化是不行的，这样容易导致过拟合，我们不仅要让经验风险最小化，还要让结构风险最小化。这个时候就定义了一个函数 ，这个函数专门用来度量模型的复杂度，在机器学习中也...

目录LR的两种理解LR的损失函数求解（梯度法，牛顿法，拟牛顿法）梯度下降法：随机梯度下降和批量梯度下降牛顿法：拟牛顿法：逻辑回归用于多分类one-vs-all：one-vs-one:softmax：LR的并行化：LR与最大熵：LR的两种理解直观理解上来说，LR是先通过一个线性回归得到一个score，然后选取某个阈值来二分类，但是这...

基于sklearn实现anova核逻辑回归import numpy as npfrom sklearn.metrics.pairwise import check_pairwise_arraysfrom scipy.linalg import choleskyfrom sklearn.linear_model import LogisticRegressiondef anova_k...

目录Linear Support Vector Machine线性支持向量机通俗理解函数间隔与几何间隔最大间隔分类器Dual Support Vector Machine 对偶支持向量机引入原因具体推导Kernel Support Vector Machine核函数常见核函数Polynomial KernelGaussian Kernel...

首先我们通过一个小例子来对EM算法有一个大体上的认识。我们要估计一个学校的男女身高分布，我们随机的抽取两百人的身高，且不知道每个人的性别。即我们的样本数据里只含身高。意思我们要在不知道性别的情况下来估计男女的身高分布。我们首先假设男生身高分布服从（μ1，σ1^2）的高斯分布，女生~（μ2，σ2^2）。在此基础上我们来计算每个样本属于每个男女的概率，比如一个身高1.8的样本，将其带入男生的概率密度函...

在线性回归中，y丨x；θ~N（μ，σ^2)。在逻辑回归中，y丨x；θ~Bernoulli（Φ）Φ

常见的决策树有三种，ID3，C4.5，Cart，它们是按照不同的分割指标和分割方法形成的。其中分割指标都是基于信息熵出发而来的。关于熵这方面的知识，可见博客。在决策树中，我们就将信息熵视为度量样本集合的纯度的指标。（1）ID3：以信息增益为准则来选择最优划分属性。 信息增益基于信息熵来计算，简单的说就是用根据某个特征分割前的信息熵来减去分割后的信息熵，这样就能衡量该特征...

之前在集成学习(https://blog.youkuaiyun.com/yingjiaotuo8368/article/details/79866457)中，我们说了Adaboost有两种理解角度：1.statistical view 2.margin theory 这里就再次介绍下statistical view并由此引出GBDT。在adaboost中的权重更新中，对correct样本和incor...

集成学习直观上来说达到了三个臭皮匠能抵一个诸葛亮的效果，从机器学习的角度来说，集成学习融合了特征转换和正则化两个特点，通常的机器学习模型只能注重一点，这也是集成学习能达到不错的效果的原因。通常来说要求基学习器都“还行”而且方差尽量大。。 首先最容易想到的方法就是average，如果是分类任务，就vote；如果是回归任务，取平均(证明)，虽然简单但效果通常不错。考虑到不...