fightinglearning的博客

决策树1 决策树原理1.1 特征选择1.2 决策树的生成伪代码1.3 决策树剪枝1.4 优缺点2 习题3 实践3.1 重要参数3.2 算法应用1 决策树原理分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布。决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。决策树学习旨在构建一个与训练数据拟合很好，并且复杂度小的决策树。因为从可能的决策树中直接选取最优决策树是NP完全问

DW之逻辑斯谛回归(LR)1、逻辑回归的原理2、逻辑回归损失函数推导及优化3、逻辑回归的优缺点4、实例Iris代码实现逻辑斯谛回归(LR)是经典的分类方法由逻辑斯谛分布（分布函数是S型曲线）---->二项逻辑斯谛回归模型---->多项逻辑斯谛回归模型逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数F(x)F(x)F(x)是SSS形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。我们把发生概率/不发生概率称之为一个事件的几率，对其取对数为对数几率，将将二项的逻辑斯谛回

SVM1、硬间隔SVM-统计学习基础软间隔核函数常用的核函数及对比：2、软间隔前言软间隔最大化参考博客1、硬间隔SVM-统计学习基础一开始讲解了最小间距超平面：所有样本到平面的距离最小。而距离度量有了函数间隔和几何间隔，函数间隔与法向量www和bbb有关，www变为2w2w2w则函数间距变大了，于是提出了几何距离，就是对www处理，除以∣∣w∣∣||w||∣∣w∣∣，除以向量长度，从而让几何...

条件随机场马尔可夫过程定义假设一个随机过程中，tnt_ntn​ 时刻的状态xnx_nxn​的条件发布，只与其前一状态xn−1x_{n-1}xn−1​ 相关，即：P(xn∣x1,x2,...,xn−1)=P(xn∣xn−1) P(x_n|x_1,x_2,...,x_{n-1}) = P(x_n|x_{n-1})P(xn​∣x1​,x2​,...,xn−1​)=P(xn​∣xn−1​...

EM前言EM算法引入EM算法推导逼近证明收敛高斯混合分布总结混合高斯分布模型E步主要计算内容M步 主要计算内容前言EM算法是机器学习十大算法之一，它很简单，但是也同样很有深度，简单是因为它就分两步求解问题，E步：求期望（expectation）M步：求极大（maximization)深度在于它的数学推理涉及到比较繁杂的概率公式等，所以本文会介绍很多概率方面的知识，不懂的同学可以先去了...

贝叶斯1. 相关概念（生成模型、判别模型)2. 先验概率、条件概率3. 贝叶斯决策理论4. 贝叶斯定理公式5. 极值问题情况下的每个类的分类概率6. 下溢问题如何解决7. 零概率问题如何解决？8. 优缺点9. sklearn参数详解，Python绘制决策树1. 相关概念（生成模型、判别模型)2. 先验概率、条件概率3. 贝叶斯决策理论4. 贝叶斯定理公式5. 极值问题情况下的每个类的分类...

Linear_regression线性回归的概念1、线性回归形式极大似然估计（概率角度诠释）2、线性回归损失函数、代价函数、目标函数3、线性回归的优化方法1、梯度下降法2、最小二乘法矩阵求解3、牛顿法4、拟牛顿法4、线性回归的评价指标5、sklearn.linear_model参数详解：1、先尝试调用sklearn的线性回归模型训练数据2、最小二乘法的矩阵求解参考线性回归的概念1、线性回归形式...