haozhepeng的专栏

参考&引用：陈天奇论文，ppt等(已上传https://download.youkuaiyun.com/download/haozhepeng/11287103) &https://blog.youkuaiyun.com/qq_22238533/article/details/79477547目录一、原理1.Bias-Variance(偏差方差思想)2.XGB过程推导XGB过程简述...

参考&引用：https://blog.youkuaiyun.com/huacha__/article/details/81057150&https://blog.youkuaiyun.com/qq_24519677/article/details/82811215&https://blog.youkuaiyun.com/u010242233/article/details/79769950&原始论文...

转https://www.cnblogs.com/lliuye/p/9451903.html批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解  梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下...

一、熵 entropy表示随机变量不确定性，熵越大，不确定性越大。1.联合熵两个随机变量X，Y的联合分布，可以形成联合熵Joint Entropy，用H(X,Y)2.条件熵：H(Y|X) = H(X,Y) - H(X)根据互信息定义展开得到H(Y|X) = H(Y) - I(X,Y)3. 对偶式H(X|Y)= H(X,Y) - H(Y)H(X...

目前常见的集成（ensemble）学习方法：bagging,RF(采用了bagging 思想)，boosting(adaboosting, GBDT,XGB,LGBM)。两者不同在于 bagging是集成多个强分类器，思路是最小化方差。个体学习器间不存在强依赖关系、可同时生成的并行化方法。而boosting 是串行集成多个弱分类器，思路是最小化误差，下一个分类器需要依赖上一个的结果，多...

boosting 也是一种集成方式，目前比较火的有 GDBT，XGB，LGBM，Adaboosting等。它通过最小化误差的思路，来串行的集成多个弱分类器。即个体学习器间存在强依赖关系、必须串行生成的序列化方法。下面内容参考引用https://blog.youkuaiyun.com/u012258999/article/details/42457577和https://blog.youkuaiyun.com/Lia...

引用&参考文章GDBT原始文章 （已上传https://download.youkuaiyun.com/download/haozhepeng/11287103)）https://blog.youkuaiyun.com/qq_22238533/article/details/79185969&https://www.cnblogs.com/massquantity/p/9174746.html...

总结：sklearn机器学习之特征工程0.6382017.09.25 15:40:45字数 6064阅读 71130 关于本文​ 主要内容和结构框架由@jasonfreak--使用sklearn做单机特征工程提供，其中夹杂了很多补充的例子，能够让大家更直观的感受到各个参数的意义，有一些地方我也进行自己理解层面上的纠错，目前有些细节和博主再进行讨论，修改部分我都会以删除来表示，读者可以自...

转https://www.cnblogs.com/lsqin/p/9342926.htmlPython机器学习算法 — 关联规则（Apriori、FP-growth）关联规则 -- 简介关联规则挖掘是一种基于规则的机器学习算法，该算法可以在大数据库中发现感兴趣的关系。它的目的是利用一些度量指标来分辨数据库中存在的强规则。也即是说关联规则挖掘是用于知识发现，而非预测...

张若雪：自动识别金融市场异常波动——机器学习的一个应用2019-09-23糖儿p7tz6...转自挑燈看劍r7w...修改 打开今日头条，查看更多图片 文/中国人民银行上海总部张若雪 金融市场一直处于波动之中。大部分时间市场波动都是正常的，但有一些波动，源于突然发生的外部冲击或者未被预期的其它因素，从而表现出不同于正常模式的异常状态。这些异常波...

转自：https://www.cnblogs.com/pinard/p/9314198.html异常点检测，有时也叫离群点检测，英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法，这里就对异常点检测算法做一个总结。1.异常点检测算法使用场景　　　　什么时候我们需要异常点检测算法呢？常见的有三种情况。一是在做特征工程的...

转自：几种常见的损失函数(https://www.cnblogs.com/lliuye/p/9549881.html)1. 损失函数、代价函数与目标函数  损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。  代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。  目标函数（Object Fu...

机器学习-软件安装

转载：https://www.cnblogs.com/pinard/p/5970503.htmlBFGS  L-BFGS　在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式...

https://blog.youkuaiyun.com/han_xiaoyang/article/details/49123419作者：寒小阳 && 龙心尘时间：2015年10月。出处：http://blog.youkuaiyun.com/han_xiaoyang/article/details/49123419。声明：版权所有，转载请注明出处，谢谢。1、总述逻辑回归是应用非常广泛的一个分类机器学习算法，...

LR与SVM的异同 转http://www.cnblogs.com/zhizhan/p/5038747.html 原文：http://blog.sina.com.cn/s/blog_818f5fde0102vvpy.html 在大大小小的面试过程中，多次被问及这个问题：“请说一下逻辑回归（LR）和支持向量机（SVM）之间的相同点和不同点”。第一次被问到这个问题的时候，含含糊糊地...

iForest （Isolation Forest）孤立森林 异常检测 入门篇转自https://www.jianshu.com/p/5af3c66e0410iForest （Isolation Forest）孤立森林 是一个基于Ensemble的快速异常检测方法，具有线性时间复杂度和高精准度，是符合大数据处理要求的state-of-the-art算法（详见新版教材“Outlier Ana...

转自：https://zhuanlan.zhihu.com/p/48642938今天刚刚看到在arXiv上出现了一篇关于AutoML的比较全面的综述，于是赶紧略读了一下，第一时间做个简要的分享。论文地址：https://arxiv.org/abs/1810.13306。这是一篇来自第四范式(4Paradigm)公司的关于AutoML的综述文章。第四范式是目前国内关于AutoML研究较早...

https://www.zuozuovera.com/archives/938/在将一份python2.x的代码转到python3.6的时候发生的车祸现场。主要也因为最近将整个python的开发和学习环境迁移到了Anaconda上，然后在遇到hmmlearn这个包的时候，发现Anaconda安装这个包好像翻车了很多人。进入正题。报错现场from hmmlearn import h...

https://www.cnblogs.com/pinard/p/7001397.html

https://www.cnblogs.com/alicia-Programming/p/7076394.html