雷天琪的博客

核心问题如何对文本进行进行特征提取 => 主要是找出在某一篇文档中哪些token可以对这篇文档的分类起到决定性的作用 特征选择只是从海量的特征或者数据中选择一些更具有判别不同类别意义的特征，并不是学习过程，也不会做分类，分类问题可以在之后的。信息增益核心思想：若把某一个单词是否在一篇文章中出现作为分类原则，比较分类前后系统的信息增益。可以把文档变成token，然后根据文档的类别信息计算每一个tok

一般在数据很少的情况下，我们可以选择Naïve Bayes，或者Random Forest作为训练模型：朴素贝叶斯Naïve Bayes是基于概率的，所以它的一个优势就在于只需要少量的训练数据就可以估计出必要的参数（变量的均值活着方差）。由于变量独立假设，只需要估计各个变量的方法，而不需要确定整个协方差矩阵。（因为在这个假设的条件下，参数与参数之间0关联，那么协方差矩阵全为0 => 代表变量之间无相