2017-1-13 贝叶斯分类器，决策树 总结

Python

append将整个列表直接加入作为一个元素，extend将列表中的每个元素分拆之后分别加入

正则式部分参考：http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

朴素贝叶斯分类利用贝叶斯概率以及贝叶斯准则提供了一种利用已知值来估计未知概率的有效方法，比硬规则(K近邻和决策树）下的分类更有效。

决策树利用信息论中的熵的原理自动将已知分类训练集的特征向量找到信息增益最大的分类，具体是将训练集中的所有特征挨个测试，用递归，每次找到最好的特征（即以该类划分将得到最 大的informaGain）作为一个decisionNode，停止条件是子集内的元素用完所有的特征或者类别完全相同。由此建立的决策树可用于测试集的分类效果测试。

而贝叶斯分类器使用已知分类的训练集各个样本的特征向量，通过计算特征向量在已知条件下的条件概率（训练集得出），根据当前样本划分出的特征向量（次数）乘以前述条件 概率得到了当前样本的P（w|ci）（即已知ci条件下该w特征向量的条件概率），进而求出拥有特征向量分属各类的概率p（ci|w），后验概率。