应用朴素贝叶斯的前提是,条件(特征)之间独立。
条件独立的假设是:
P(X=x|Y=ck)=P(X(1)=x(1),...,X(n)=x(n)|Y=ck)P(X=x|Y=ck)=P(X(1)=x(1),...,X(n)=x(n)|Y=ck)
=∏j=1nP(X(j)=x(j)|Y=ck)=∏j=1nP(X(j)=x(j)|Y=ck)
朴素贝叶斯应用于学习生成数据的机制,属于生成模型。
朴素贝叶斯分类时,对给定输入x,通过学习到的模型计算后验概率分布P(Y=ck|X=x)P(Y=ck|X=x),将后验概率最大的类作为x的类输出。后验概率计算,根据贝叶斯定理进行:
P(Y=ck|X=x)=P(X=x|Y=ck)P(Y=ck)∑kP(X=x|Y=ck)P(Y=ck)P(Y=ck|X=x)=P(X=x|Y=ck)P(Y=ck)∑kP(X=x|Y=ck)P(Y=ck)
朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测:
P(Y|X)=P(X,Y)P(X)=P(Y)P(X|Y)∑YP(Y)P(X|Y)P(Y|X)=P(X,Y)P(X)=P(Y)P(X|Y)∑YP(Y)P(X|Y)