虎哥的铲屎员

文章目录1 经验误差与过拟合2.2评估方法2.3 性能度量2.3.1 分类任务常用的性能度量：错误率和精度2.3.2 查准率/准确率（precision）、查全率/召回率（recall）、F12.3.2 ROC曲线2.4 比较检验2.5 偏差与方差 1 经验误差与过拟合 错误率$E=\frac{a}{m}$$$ 精度(accuracy)$1-\frac{a}{m}$ 误差:$\hat y - y...

文章目录1.Boosting1.1最有名的算法AdaBoost1.2 Boosting注意2.Bagging和随机森林2.1Bagging自助采样法(bootstrap)oob(out of bag)2.2随机森林（Random Forest,RF）3.学习器结合策略3.1学习器结合的好处3.2 结合的策略4.多样性多样性的增强 集成算法目的：根据某个算法策略组和多个基础模型，从而提高模型的泛化...

文章目录9.聚类（clustering）9.1 聚类简介9.2 距离计算“距离度量”的基本性质不同属性的距离计算有序属性的距离表示无序属性的距离VDM(value difference metric)混合属性聚类中距离的使用9.3 k-means9.3.1k-means算法9.3.2 k-means++(改进算法)9.3.3 elkan k-means（改进算法）9.3.4 miniBatch k...

文章目录3.1 线性回归3.1.2 只有一个属性时平方损失是凸函数的证明3.1.2 多元线性回归当$X^TX$是正定矩阵时平方损失是凸函数的证明$X^TX$不满秩时3.2 广义线性模型3.2.1指数分布族3.2.2广义线性模型的三条假设3.3 对数几率回归(logistic regression)3.3.1用logit变换解释模型3.3.2用广义线性模型解释模型3.3.3 梯度下降求解3.3.4 ...

文章目录3.4线性判别分析LDA(linear discriminant analysis)3.4.1 二分类推导3.4.2 多分类推导3.5 多分类学习3.6类别不平衡问题 3.4线性判别分析LDA(linear discriminant analysis) 给定训练样例集，将样例投影到一条直线上，是同类样例的投影点尽可能近，非同类样例投影点尽可能远。在新样本分类时，投影到同样的直线上，再根据投...

文章目录4.1 划分选择4.1.1信息增益4.1.2 信息增益比4.1.3 基尼指数4.1.4 ID3,C4.5,CART区别4.2剪枝处理4.2.1 预剪枝4.2.2 后剪枝错误率降低剪枝代价复杂剪枝4.3 连续与缺失值处理4.3.1 连续值4.3.2 缺失值处理4.4多变量决策树 4.1 划分选择 4.1.1信息增益 Entropy(D)=−∑pln⁡p Entropy(D) = -\sum ...

文章目录SVR，支持向量回归1.目标函数2.求解目标函数 SVR，支持向量回归 SVR(support vector regression):假设能容忍y^\hat{y}y^​与yyy之间最多有ϵ\epsilonϵ的偏差，即仅当偏差大于ϵ\epsilonϵ时，才计算损失。 1.目标函数 min⁡w,b12∣∣w∣∣2+C∑i=1mlϵ(f(xi)−yi) \min_{w,b}\quad \fr...

文章目录7.贝叶斯分类器7.1 贝叶斯决策论7.1.1原理7.1.2获得后验概率的两种策略7.2朴素贝叶斯分类器7.3 半朴素贝叶斯7.3.1 SPODE(super parent one dependent estimator)7.3.2 AODE(averaged obe-dependent estimator)7.3.3 TAN（tree augmented naive bayes） 7.贝...

文章目录5.神经网络5.1 神经元(neuron)模型5.2感知机与多层网络5.2.1 感知机（perceptron）5.3 误差逆传播算法5.3.1 推导5.3.2 算法5.3.3 缓解过拟合5.4 全局最小与局部最小5.5 其他常见的神经网络5.5.1 REF（radial basis function ，径向基函数）网络5.5.2 ART(adaptive rsonance theory,...