haozhepeng的专栏

目前常见的集成（ensemble）学习方法：bagging,RF(采用了bagging 思想)，boosting(adaboosting, GBDT,XGB,LGBM)。两者不同在于 bagging是集成多个强分类器，思路是最小化方差。个体学习器间不存在强依赖关系、可同时生成的并行化方法。而boosting 是串行集成多个弱分类器，思路是最小化误差，下一个分类器需要依赖上一个的结果，多...

boosting 也是一种集成方式，目前比较火的有 GDBT，XGB，LGBM，Adaboosting等。它通过最小化误差的思路，来串行的集成多个弱分类器。即个体学习器间存在强依赖关系、必须串行生成的序列化方法。下面内容参考引用https://blog.youkuaiyun.com/u012258999/article/details/42457577和https://blog.youkuaiyun.com/Lia...

引用&参考文章GDBT原始文章 （已上传https://download.youkuaiyun.com/download/haozhepeng/11287103)）https://blog.youkuaiyun.com/qq_22238533/article/details/79185969&https://www.cnblogs.com/massquantity/p/9174746.html...

计算广告中的lookalike是如何实现的？2019.03.04 17:16:16字数1372阅读1968什么是lookalikelookalike算法是计算广告中的术语，不是单指某一种算法，而是一类方法的统称。其目的就是为了实现人群包扩充。简单场景广告主需要对100w人投放，但是，从选取的基础数据包中，只有30w，那么如何满足100w的投放需求，这时，就需要通过lookali...

一、熵 entropy表示随机变量不确定性，熵越大，不确定性越大。1.联合熵两个随机变量X，Y的联合分布，可以形成联合熵Joint Entropy，用H(X,Y)2.条件熵：H(Y|X) = H(X,Y) - H(X)根据互信息定义展开得到H(Y|X) = H(Y) - I(X,Y)3. 对偶式H(X|Y)= H(X,Y) - H(Y)H(X...

正则化项L1和L2的区别转https://www.cnblogs.com/lyr2015/p/8718104.htmlhttps://blog.youkuaiyun.com/jinping_shi/article/details/52433975https://blog.youkuaiyun.com/zouxy09/article/details/24971995一、概括：L1和L2是正则化项，又叫做...

https://www.cnblogs.com/alicia-Programming/p/7076394.html

转自：几种常见的损失函数(https://www.cnblogs.com/lliuye/p/9549881.html)1. 损失函数、代价函数与目标函数  损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。  代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。  目标函数（Object Fu...

转自：https://www.cnblogs.com/pinard/p/9314198.html异常点检测，有时也叫离群点检测，英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法，这里就对异常点检测算法做一个总结。1.异常点检测算法使用场景　　　　什么时候我们需要异常点检测算法呢？常见的有三种情况。一是在做特征工程的...

参考&引用：陈天奇论文，ppt等(已上传https://download.youkuaiyun.com/download/haozhepeng/11287103) &https://blog.youkuaiyun.com/qq_22238533/article/details/79477547目录一、原理1.Bias-Variance(偏差方差思想)2.XGB过程推导XGB过程简述...

参考&引用：https://blog.youkuaiyun.com/huacha__/article/details/81057150&https://blog.youkuaiyun.com/qq_24519677/article/details/82811215&https://blog.youkuaiyun.com/u010242233/article/details/79769950&原始论文...

转https://www.cnblogs.com/lliuye/p/9451903.html批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解  梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下...

一、LR介绍逻辑回归 ：假设数据(因变量)服从伯努利分布,通过极大化似然函数的方法，运用梯度下降等方式求解参数，来达到将数据分类目的监督学习算法。二、假设函数1.算法原型                                               在给定 x和 θ 的条件下y=1 的概率。2.LR为什么使用sigmoid函数      ...