qq_42871249的博客

贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是在概率框架下实施决策的基本方法。 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类别标记。 基本方法 训练数据集： 联合分布 朴素贝叶斯通过训练数据集学习联合概率分布P(X,Y) 即先验概率分布： 及条件概率分布： 条件独立性假设 “朴素”贝叶斯名字由来...

决策树概述 决策树是一种典型的分类方法 ，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。 决策树的优点 1、推理过程容易理解，决策推理过程可以表示成If Then 形式； 2、推理过程完全依赖于属性变量的取值特点； 3、可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。 ...

经验误差与过拟合 错误率: 错分样本的占比：E = a/m 误差：样本真实输出与预测输出之间的差异 训练(经验)误差：训练集上 测试误差：测试集 泛化误差：除训练集外所有样本 由于事先并不知道新样本的特征，我们只能努力使经验误差最小化； 很多时候虽然能在训练集上做到分类错误率为零，但多数情况下这样的学习器并不好。 ...