dong-技术驱动人生

一.GBDT简介：        GDBT(Gradient Boosting Decision Tree)是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终结果。它在被提出之初就和SVM一起被认为是泛化能力（generalization）较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起广泛关注。        GBDT是一个应用很广泛的算法，可以用来做分...

词嵌入词嵌入其实就是将数据的原始表示表示成模型可处理的或者是更dense的低维表示（lz）。One-hot Embedding假设一共有m个物体，每个物体有自己唯一的id，那么从物体的集合到有一个trivial的嵌入，就是把它映射到中的标准基，这种嵌入叫做One-hot embedding/encoding.一般使用的低维embedding应用中一般将物体嵌入到一个低维空间(n...

一、决策树的优点和缺点优点：决策树算法中学习简单的决策规则建立决策树模型的过程非常容易理解， 决策树模型可以可视化，非常直观 应用范围广，可用于分类和回归，而且非常容易做多类别的分类 能够处理数值型和连续的样本特征缺点：很容易在训练数据中生成复杂的树结构，造成过拟合（overfitting）。剪枝可以缓解过拟合的负作用，常用方法是限制树的高度、叶子节点中的最少样本数量。 学...

ID3D3算法十分简单，核心是根据“最大信息熵增益”原则选择划分当前数据集的最好特征，信息熵是信息论里面的概念，是信息的度量方式，不确定度越大或者说越混乱，熵就越大。在建立决策树的过程中，根据特征属性划分数据，使得原本“混乱”的数据的熵(混乱度)减少，按照不同特征划分数据熵减少的程度会不一样。在ID3中选择熵减少程度最大的特征来划分数据（贪心），也就是“最大信息熵增益”原则。同时这是最早提...

基本概念元算法（meta-algorithm）,所谓“三个臭皮匠，顶个诸葛亮”，在做决策时，通常会听取多个专家而不只是一个人的意见。例如，医院在遇到罕见病例时会组织多个专家进行临床会诊，共同分析病例以给出手术方案。这就是元算法背后的思路，元算法也叫集成方法（ensemble method）。集成学习（Ensemble Learning）就是使用一系列学习器进行学习，并使用某种规则将各个学习...

随机森林：理解：多棵决策树（CART树）https://blog.youkuaiyun.com/blank_tj/article/details/82081002组合而成，分类问题：每棵树投票找最高票；回归问题：每棵树的值求和取平均。特点：随机森林基于Bagging https://blog.youkuaiyun.com/blank_tj/article/details/82229322，所以每次训练随机从总数据D...

决策树（Descision Tree）决策树介绍决策树基于“树”结构进行决策：- 每个“内部节点”对应于某个属性上的测试- 每个分枝对应于该测试的一种可能结果（即属性的某个取值）- 每个叶节点对应于一个“预测结果”决策树学习的三个步骤特征选择决策树的生成决策树的修剪特征选择是决定用哪个特征来划分特征空间；特征选择的准则：信息增益或信息增益比案例:预测小明今天出门...

随机森林 RF RandomForest　　随机森林的集成学习方法是bagging，但是和bagging 不同的是bagging只使用bootstrap有放回的采样样本，但随机森林即随机采样样本，也随机选择特征，因此防止过拟合能力更强，降低方差。使用的融合方法：bagging一种集成学习算法，基于bootstrap sampling 自助采样法，重复性有放回的随机采用部分样本进行训练最...

遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。  一.进化论知识 　　作为遗传算法生物背景的介绍，下面内容了解即可：　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。　　个体...

一. 爬山算法 ( Hill Climbing )         介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。         爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如图1所示：假设C点为当前解，爬山算法搜索到A点这个局部最优解就会停止搜索，因为...

 原文地址：http://blog.youkuaiyun.com/u011508640/article/details/72815981最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明...

一、问题由来在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。离散特征的编码分为两种情况：　　1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码　　2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}使用pandas可以很方便的对离散型特征进行on...