初识贝叶斯分类算法

通过老师的讲解后我对贝叶斯分类算法有了一个较为全面的认识,懂得怎么使用了。
贝叶斯定理的条件概率公式:P(B|A)=P(AB)/P(A)=P(A|B)P(B)/P(A)
注:P(B|A)为在事件A发生的前提下B事件发生的概率。

全概公式:
P(A)=UP(Bi)P(A|Bi)
注:P(Bi)为B事件所有可能中的一种,若是二分类则有两种结果,三分类有三种结果。

逆概公式:
P(Bi|A)=P(Bi)P(A|Bi)/UP(Bj)P(A|Bj)
注:(以下公式不适用于连续型数据集)该分母是一个常数,通过所给的数据可求。在大多数情况下,分子中的P(Bi)是已知的,它以数据中所出现的该类别的频率作为先验概率,可以表示为Nyi/N,至此,要求出P(Bi|A)就只剩下求P(A|Bi)了。我们假设自变量是条件独立的,所以P(A|Bi)=P(a1,a2,a3,….,an)=P(a1|Bi)P(a2|Bi)P(a3|Bi)…P(an|Bi),其中A事件有几个自变量n就为几,又由拉普拉斯平滑:P(aj|Bi)=(Njk+α)/(Ni+nα),
P(Bi|A)就求得出来了!
下面我们通过实例进行理解:
(找工作)
Edu Scholarship Award meet

本科 有 有 1
本科 无 无 0
本科 有 无 0
硕士 有 有 1
硕士 有 无 1

问:一个本科学历、无Scholarship、有Award的人求职能被录取吗?
(1)因变量各类别频率
P(meet=0)=2/5=0.4
P(meet=1)=3/5=0.6
(2)单变量条件概率(拉普拉斯平滑:P(aj|Bi)=(Njk+α)/(Ni+nα))

P(Edu=本科|meet=0)=(2+1)/(2+2*1)=3/4

P(Edu=本科|meet=1)=(1+1)/(3+2*1)=2/5

P(Scholarship=无|meet=0)=(1+1)/(2+2*1)=2/4

P(Scholarship=无|meet=1)=(0+1)/(3+2*1)=1/5

P(Award=有|meet=0)=(0+1)/(2+2*1)=1/4

P(Award=有|meet=1)=(1+1)/(3+21)=2/5
贝叶斯后验概率
P(meet=0|Edu=本科,Scholarship=无,Award=有)=(2/5)
(3/4)(2/4)(1/4)=12/320

P(meet=1|Edu=本科,Scholarship=无,Award=有)=(3/5)(2/5)(1/5)*(2/5)=12/625
显然(12/320)>(12/625),因此我们的结论是这个本科学历、无Scholarship、有Award的人求职将不能被录取。