虎哥的铲屎员

第三章3.k近邻法3.1 k近邻算法3.2 模型的要素距离度量k值的选择分类决策规则3.3kd树构造kd树的算法搜索kd树的算法一切为了数据挖掘的准备3.k近邻法3.1 k近邻算法k邻近法可以解决分类和回归问题。目前只涉及到分类问题k邻近法三要素：k值的选择，距离度量、分类决策规则算法（线性扫描）：输入:训练数据集T，输出：实例x所属的类y根据给定的距离度量，在T中找出与待预测...

文章目录9.EM算法及其推广9.1概念9.1.1模型解释9.2EM算法9.2.1推导9.2.2算法9.2.3 算法的收敛性9.3EM在高斯混合模型中的应用9.3.1高斯混合模型推导过程似然函数对数似然函数算法E步算法M步9.3.2高斯混合模型参数估计的EM算法9.EM算法及其推广EM算法(expectation maximization algorithm,期望极大算法)是一种非监督模型...

文章目录8.提升方法8.1几个概念8.2加法模型的向前分步算法8.2.1加法模型8.2.2具体算法8.3 提升方法8.3.1 AdaBoost算法算法AdaBoost的训练误差分析AdaBoost算法的解释8.3.2 提升树CART生成二叉回归树算法提升树算法梯度提升算法8.4 AdaBoost训练误差证明8.4.1 训练误差上界8.4.2二分类问题AdaBoost的训练误差界8.提升方法8....

文章目录7.支持向量机（Support vector machines,SVM）7.1 线性可分支持向量机7.1.1 和感知机的区别7.1.2 数学表示7.1.3 函数间隔，几何间隔函数间隔几何间隔函数间隔和几何间隔的关系7.1.4 硬间隔最大化数学表示7.1.5 支持向量7.1.6 学习的对偶算法原问题拉格朗日函数拉格朗日对偶问题KKT条件最优解7.2线性支持向量机7.2.1学习到的模型的数学表...

第四章4.朴素贝叶斯法（naive Bayes）4.1朴素贝叶斯的学习与分类4.1.1 基本方法4.1.2 分类器模型证明4.2参数估计4.2.1 极大似然估计4.2.2贝叶斯估计一切为了数据挖掘的准备4.朴素贝叶斯法（naive Bayes）朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法生成模型判别模型4.1朴素贝叶斯的学习与分类4.1.1 基本方法表达：输入空间...

第六章6.逻辑斯蒂回归(logistic regression)与最大熵模型(maximum entropy model)6.1二项逻辑斯蒂回归模型6.1.1 二项逻辑斯蒂回归模型的数学表示6.1.2 logistic regression数学表达的一种解释6.1.3 模型参数估计6.1.4采用梯度上升法对目标函数最优化6.2多项逻辑斯蒂回归6.2.1数学表示6.2.2 多项逻辑斯蒂回归数学表达的...

第五章5.决策树(decision tree)5.1特征选择标准5.1.1 熵5.1.2 条件熵5.1.3 信息增益5.1.4信息增益比5.2决策树生成算法5.2.1 ID3决策树生成算法5.2.2C4.5生成算法5.3决策树的剪枝5.3.1 损失函数5.3.2树的剪枝算法5.4CART算法(对于分类树)5.4.1基尼指数5.4.2CART生成算法5.5 几个离散程度指数的区别方差熵基尼指数一切...

第二章2.感知机2.1感知机模型2.2感知机学习策略2.3感知机学习算法感知机学习算法的原始形式感知机学习算法的对偶形式2.4感知机学习算法收敛证明一切为了数据挖掘的准备2.感知机2.1感知机模型感知机：二类分类的线性模型。数学表达：输入空间X⊆RnX\subseteq R^nX⊆Rn，输出空间是y={+1,−1}y=\{+1,-1\}y={+1,−1}，输入实例x,输出实例y,输入空...

第一章1.统计学习方法概论1.1概念1.2.统计学习三要素假设空间策略算法1.3.正则化与交叉验证1.4.泛化误差上界1.5.生成模型/判别模型1.6.分类问题1.7.一个极大似然估计和贝叶斯估计的实例一切为了数据挖掘的准备1.统计学习方法概论1.1概念机器学习的分类监督学习：从给定的训练数据集中学习处一个函数。训练集要求包括输入和输出，特征和目标。常见的监督学习有回归分析和统计分类...

信息增益熵：H(X)=−∑i=1kpilog⁡piH(X) = -\sum_{i=1}^k p_i\log p_iH(X)=−∑i=1k​pi​logpi​条件熵：H(X∣Y)=−∑j=1np(yj)H(X∣yj)=−∑j=1np(yj)∑i=1kp(xi∣yj)log⁡p(xi∣yj)H(X|Y) =-\sum_{j=1}^n p(y_j)H(X|y_j) =-\sum_{j=1}^n p...