suotanyu1595的博客

目录1. XGBoost1.1 目标函数1.1.2 基于决策树的目标函数1.1.3 最优切分点划分算法1.1.4 加权分位数缩略图1.1.5 稀疏感知算法1.2 优缺点2. LightGBM2.1 目标函数2.1.1 单边梯度抽样算法2.1.2 直方图算法2.1.3 互斥特征捆绑算法2.1.4 带深度限制的 Leaf-wise 算法2.1.5 类别特征最优分割3. 总结3.1 与 XGBoost 的对比3.1.1 内存更小3.1.2 速度更快本文主要介绍基于 Boosting 框架的主流集成算法，包括 X

目标题1. 集成学习1.1 Bagging1.2 Boosting1.3 Stacking2. 偏差和方差2.1 集成学习的偏差和方差2.2 Bagging的偏差和方差2.3 Boosting的偏差和方差2.4 小结3. Random Forest3.1 思想3.2 优缺点4. Adaboost4.1 思想4.2 细节4.2.1 损失函数4.2.2 正则化4.3 优缺点5. GBDT5.1 思想5.1.1 回归树（Regression Decision Tree）5.1.2 梯度迭代（Gradient Bo

目录1. 内容介绍2. ID32.1 思想2.2 启发函数（划分标准）2.3 缺点3. C4.53.1 思想3.2 启发函数(划分标准)3.3 剪枝策略3.3.1 预剪枝3.3.2 后剪枝3.4 缺点三级目录1. 内容介绍决策树是一个非常优秀的机器学习算法，易于理解、可解释性强，既可作为分类算法，也可用于回归问题。本章主要介绍基本树模型：ID3、C4.5、CART树。2. ID3ID3树算法的思想是建立在奥卡姆剃刀的基础上：越是小型决策树越优于大的决策树。2.1 思想在信息论上可知：信息熵越

目录1.决策树总览2. 原理2.1 基本概念1.2 生成决策树生成算法：3. 特征选择3.1 信息增益3.2 信息增益比1.决策树总览决策树是一种基本的分类与回归方法。据册数模型时描述对样本进行分类的树形结构。树由结点和有向边组成：内部结点表示i个特征或者属性。叶子节点表示一个分类。有向边代表一个划分规则。决策树从根节点到子节点的有向边代表了一条路径。决策树的路径是互斥并且是完备的。用决策树分类时，对样本的某个特征进行测试，根据测试结果将样本分配到树的子结点上。此时每个结点对应特征的

目录1. 概念2. 举例2.1 例子12.1.2 计算2.2 例子 B3. 推导4. 应用1. 概念EM算法(期望最大算法)是一种迭代算法，用于含有隐变量的概率参数模型的最大似然估计或极大后验概率估计。具体思想如下：EM算法的核心思想非常简单，分为两步：Expection-Step和Maximization-Step。E-Step主要通过观察数据和现有模型来估计参数，然后用这个估计的参数值来计算似然函数的期望值；而M-Step是寻找似然函数最大化时对应的参数。由于算法会保证在每次迭代之后似然函数都会增

目录1.支持向量1.1 线性可分1.2 最大间隔超平面1.3 支持向量1.4 SVM最优化问题2. 对偶问题2.1 拉格朗日乘数法2.1.1 等式约束优化问题2.1.2 不等式约束优化问题2.2 强对偶性3. SVM优化4. 软间隔4.1 解决问题4.2 优化目标及求解5. 核函数5.1 线性不可分5.2 核函数的作用5.3 常见核函数6. 优缺点6.1 优点6.2 缺点1.支持向量1.1 线性可分首先我们来了解下什么是线性可分。在二维空间桑，两类点被一条直线完全分开叫线性可分。1.2 最大间

目录1.概念2.朴素贝叶斯分类2.1 朴素贝叶斯公式定理2.2 例题分析2.3 朴素贝叶斯算法的朴素一词解释3. 朴素贝叶斯分类的优缺点1.概念贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故称之为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是最常见的一种分类法。分类问题综述对于分类问题，其实谁都不陌生，日常生活中我们每天都进行折分类 过程。例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常走在路上对身旁的朋友说“这个人一看就很有钱”之类的化，其实也是

目录1. 逻辑回归模型介绍1.1 Logistic分布1.2 Logistic回归1.3 代价函数1.4 求解1.5 正则化1.5.1 L1正则化1.5.2 L2正则化1.5.3 L1正则化和L2正则化区别2 与其他模型的对比2.1 与线性回归2.2 与 SVM2.3 与朴素贝叶斯3. 模型细节3.1 为什么适合离散特征3.2 为什么不用平方误差1. 逻辑回归模型介绍Logistic Regression虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression因为简单

目录1. 什么是线性回归2.一元线性回归3. 损失函数4. 最小二乘法5. 小结1. 什么是线性回归其实回归算法是相对分类算法而言的，与我们想要预测的目标变量y的值类型有关。如果目标变量y是分类型变量，如预测用户的性别（男、女），预测月季花的颜色（红、白、黄……），预测是否患有肺癌（是、否），那我们就需要用分类算法去拟合训练数据并做出预测；如果y是连续型变量，如预测用户的收入（4千，2万，10万……），预测员工的通勤距离（500m，1km，2万里……），预测患肺癌的概率（1%，50%，99%……），我们