医学生-数据狗--序1

#朴素贝叶斯法
##1.定义：基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
##2.基本方法：
(1)朴素贝叶斯法是通过训练数据集学习联合概率分布p(X,Y)，具体就是学习先验概率分布及条件概率分布
(2)朴素贝叶斯法实际上是学习到生成数据的机制，属于生成模型
(3)朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化
(4)朴素贝叶斯法的参数估计采用极大似然估计，但极大似然估计可能会出现所要估计的概率值为0的情况，解决这一问题的方法是采用贝叶斯估计
#决策树
##1.概述：决策树表示基于特征对实例进行分类的过程，它的主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪
##2.决策树模型与学习
(1)分类决策树模型是一种描述对实例进行分类的树形结构，用决策树分类，从根节点开始，用实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这是，每一个子结点对应着该特征的一个取值。如此递推地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中。
(2)决策树还可以表示给定特征条件下类的条件概率分布，决策树分类时强行分到条件概率大的那一类去
(3)决策树学习的目标是根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确的分类。
(4)决策树学习的策略是以损失函数为目标函数的最小化
(5)决策树的生成对应于模型的局部选择，决策树的剪枝对应于模型的全局选择。决策树的生成只考虑局部最优，然后决策树的剪枝需要考虑全局最优。
##3.特征选择问题
(1)特征选择在于选取对训练数据具有分类能力的特征，通常特征选择的准则是信息增益或信息增益比
a.信息增益：得知特征X的信息而使得类Y的信息的不确定性减少的程度。决策树学习是应用信息增益准则选择特征，即对训练数据集，计算其每个特征的信息增益，并比较他们的大小，选择信息增益最大的特征。
b.信息增益比：信息增益与训练数据集关于特征A的值的熵之比
##4.决策树的生成
a.ID3算法：核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树，ID3相当于用极大似然法进行概率模型的选择。但是ID3算法只有树的生成，所以该算法生成的树容易产生过拟合。
b.C4.5的生成算法：用信息增益比来选择特征
##5.决策树的剪枝
a.剪枝：在决策树学习中将已生成的树进行简化的过程，决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现即通过正则化的极大似然估计进行模型选择。
##6.CART算法
(1)定义：在给定输入随机变量X条件下输出随机变量Y的条件概率的学习方法
(2)组成：
a.决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大
b.决策树剪枝：用验证数据集对已经生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准
(3) CART的生成：决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数最小化原则
(4)CART的剪枝：首先由生成算法产生的决策树T0底端开始不断剪枝，直到T0的根结点，形成一个子树序列；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最有字树。平方误差或1基尼指数最小的决策树被认为是最优的决策树