侠的博客

Table of Contents1. 贝叶斯理论1.1 贝叶斯定理[1]1.2 贝叶斯分类算法1.3 朴素贝叶斯分类算法[2]1.3.1 朴素贝叶斯分类器实例学习过程预测过程2 Python实现[3]2.1 拉普拉斯修正2.2 对数变换参考资料1. 贝叶斯理论1.1 贝叶斯定理[1]贝叶斯定理旨在计算P(A∣B)P(A|B)P(A∣B)的值，也就是在已知B发生的条件下，A发生的概率是多...

文章目录决策树1. 特征选择1.1 熵1.2 条件熵1.3 信息增益1.4 信息增益率2. 决策树生成算法1 信息增益及信息增益率的算法2.1 ID3 算法2.2 C4.5 算法3. 决策树剪枝3.1 预剪枝3.2 后剪枝算法2 树的剪枝算法参考文献相关文章：机器学习 | 目录监督学习 | ID3 决策树原理及Python实现监督学习 | 决策树之Sklearn实现监督学习 | 决策树之...

文章目录1. 通过网格搜索完善模型1.1 数据导入1.2 拆分数据为训练集和测试集1.3 拟合决策树模型1.4 使用网络搜索完善模型1.5 交叉验证可视化1.5 总结关于决策树原理，可以参考这篇文章：监督学习 | 决策树原理及Python实现关于决策树的 Sickit-learn 实现，可以参考这篇文章：监督学习 | 决策树之Sklearn实现关于网络搜索，可以参考这篇文章：机器学习 | 网...

文章目录1. Sklearn中决策树的超参数1.1 最大深度 max_depth1.2 每片叶子的最小样本数 min_samples_leaf1.3 每次分裂的最小样本数 min_samples_split1.4 最大特征数 max_features2. 使用 Scikit-learn 实现决策树算法3. 实例：使用决策树探索泰坦尼克号乘客存活情况¶3.1 数据导入3.2 数据预处理3.2.1 O...

Table of Contents1. Sklearn 实现朴素贝叶斯1.1 数据导入1.2 数据预处理1.3 拆分训练集和测试集1.4 Bag of Words1.4.1 Sklearn 实现 Bag of Words：CountVectorizer1.4.1.1 count_vector = CountVectorizer(lowercase='True', token_pattern, s...

文章目录1. Logistic 回归1.1 Logistic 函数1.2 Logistic 回归模型1.2.1 模型参数估计2. Sklearn 实现参考资料相关文章：机器学习 | 目录监督学习 | 线性回归 之多元线性回归原理及Sklearn实现监督学习 | 非线性回归 之多项式回归原理及Sklearn实现监督学习 | 线性回归 之正则线性模型原理及Sklearn实现1. Logis...

文章目录集成学习1. 投票分类器1.1 硬投票法1.2 软投票法2. Bagging & Pasting2.1 包外评估2.2 Random Patches 和 随机子空间3. 随机森林3.1 极端随机树3.2 特征重要性参考资料相关文章：机器学习 | 目录监督学习 | 决策树原理及Python实现监督学习 | 决策树之Sklearn实现监督学习 | 集成学习之AdaBoost原...

文章目录Sklearn 支持向量机1. 支持向量机分类1.1 线性 SVM 分类1.2 非线性 SVM 分类1.2.1 多项式核1.2.2 高斯 RBF 内核2. 支持向量机回归2.1 线性 SVM 回归2.2 非线性 SVM 回归2.2.1 多项式内核参考资料相关文章：机器学习 | 目录机器学习 | 网络搜索及可视化监督学习 | SVM 之线性支持向量机原理监督学习 | SVM 之非线...

文章目录1. 非线性支持向量机1.1 核技巧1.2 核函数1.2.1 核函数选择1.2.2 RBF 函数参考资料相关文章：机器学习 | 目录机器学习 | 网络搜索及可视化监督学习 | SVM 之线性支持向量机原理1. 非线性支持向量机对解线性分类问题，线性分类支持向量机是一种非常有效的方法。但是，有时分类问题是非线性的，这时可以使用非线性支持向量机（non-linear support...

文章目录支持向量机1. 线性可分支持向量机1.1 间隔计算公式推导1.2 硬间隔最大化1.2.1 原始问题1.2.2 对偶算法1.3 支持向量2. 线性支持向量机2.1 软间隔最大化2.1.1 原始问题2.1.2 对偶算法2.2 支持向量2.3 合页损失函数参考资料支持向量机支持向量机（Support Vector Machines, SVM）：是一种二分类模型，它的基本模型是定义在特征空间上...

文章目录1. 分类评估指标1.1 混淆矩阵 Confusion Matrix1.1.1 scikit-learn 混淆矩阵函数接口1.2 真阳性TP、假阳性FP、真阴性TN、假阴性FN1.2.1 衍生评估指标1.3 准确率 Accuracy1.3.1 准确率不适用的情形：信用卡欺诈检测模型（不平衡数据）1.4 精确率 Precision1.4.1 精确率适用情形：垃圾邮件分类（高精度模型）1.5 ...

文章目录1. 信息熵 Information Entropy1.1 信息熵公式推导2. 信息增益 Information Gain2.1 信息增益最大化2.1.1 利用离散特征进行分类2.1.2 利用连续特征进行分类2.1.2.1 二分法2.1.2.2 信息熵、信息增益及二分法的Python实现参考资料1. 信息熵 Information Entropy信息是个很抽象的概念。人们常常说信息很多...

文章目录CART 算法1. CART 生成1.1 回归树生成最小二乘回归树生成算法1.2 分类树生成基尼指数CART 生成算法参考文献相关文章：机器学习 | 目录监督学习 | ID3 决策树原理及Python实现监督学习 | ID3 & C4.5 决策树原理监督学习 | 决策树之Sklearn实现监督学习 | 决策树之网络搜索本文大部分内容搬运自李航老师的《统计学习方法》[1...