机器学习 -- 朴素贝叶斯分类与K-means聚类简述

一、有监督学习方法举例

1. 朴素贝叶斯分类

  朴素贝叶斯分类是一种十分简单的分类算法，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。
  通俗来说，就像我们坐地铁的时候，仅仅通过一些衣着特征我们便能够猜测周围人的工作或者是身份地位，比如一个人西装革履，那么我们猜测他应该是个工薪一族，有人身穿工作服，那我们也可以认为他应该是个工人。但是这样的推断是不一定正确的，万一人家穿着西装是去参加毕业典礼呢？不过在没有其它可用信息下，我们还是会选择可能性最大的情况。同样的道理，朴素贝叶斯的思想基础就是选择条件概率最大的类别。
  朴素贝叶斯分类是建立在贝叶斯定理的基础上的，这就涉及到大二学的条件概率的知识了。在条件概率中有如下计算公式：
$$P(A|B)=\frac{P(AB)}{P(B)}\text{\hspace{1em}(1)}$$
$$P(B|A)=\frac{P(AB)}{P(A)}\text{\hspace{1em}(2)}$$

  通过 $(1)、(2)$h很容易就得到贝叶斯定理的计算公式：
$$P(B|A)=\frac{P(A|B)P(A)}{P(B)}\text{\hspace{1em}(3)}$$

  在已知 $P(A|B)、P(A)、P(B)$的情况下，我们便能够算出 $P(B|A)$。
  下面给出朴素贝叶斯分类的正式定义：
  【1】假设有类别集合 C = { y 1 , y 2 , . . . , y m } C = \{ {y_1, y_2,... ,y_m}\} C={ y1​,y2​,...,ym​} ,其中 $y_k$ 表示某一类别，比如汽车、房屋等；
  【2】假设有一待分类对象 x = { a 1 , a 2 , . . . , a n } x = \{ {a_1,a_2,...,a_n}\} x={ a1​,a2​,...,a