贝叶斯网络Bayesian Network (朴素贝叶斯，Naive )

1. 概率论

与之相关的有概率论的一些知识，这里先做简单知识复习。

1.1 条件概率

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B的条件下A的概率”。若只有两个事件A，B，那么 $P\left(A\mid B\right)=\frac{P\left(AB\right)}{P\left(B\right)}$P(A∣B)=P(B)P(AB)​设E 为随机试验，Ω 为样本空间，A，B 为任意两个事件，设P(A)>0，称 $P\left(B\mid A\right)=\frac{P\left(AB\right)}{P\left(A\right)}$P(B∣A)=P(A)P(AB)​为在“事件A 发生”的条件下事件B 的条件概率。上述乘法公式可推广到任意有穷多个事件时的情况。设 $A_1,A_2,...,A_n$A1​,A2​,...,An​为任意n个实践（n>=2）且 $P\left(A_1{A}_2...A_n\right)\>0$P(A1​A2​...An​)>0,则 $P\left(A_1{A}_2...A_n\right)=P\left(A_1\right)P\left(A_2\mid A_1\right)...P\left(A_n\mid A_1{A}_2...A_{n-1}\right)$P(A1​A2​...An​)=P(A1​)P(A2​∣A1​)...P(An​∣A1​A2​...An−1​)

1.2 全概率公式

定义：（完备事件组/样本空间的划分）
设B1，B2，…Bn是一组事件,若
（1） ${\forall }_i\ne jϵ\{1,2,...n\},B_{i}n{B}_j=\varnothing$∀i​̸​=jϵ{1,2,...n},Bi​nBj​=∅
（2）B1∪B2∪…∪Bn=Ω
则称B1，B2，…Bn样本空间Ω的一个划分，或称为样本空间Ω 的一个完备事件组。
定理（全概率公式）：
设事件组 $\left\{B\right\}${B}是样本空间Ω 的一个划分，且P（Bi）>0（i=1，2，…n）则对任一事件B，有 $P\left(A\right)=\sum _{i=1}^{n}P\left(B_i\right)P\left(A\mid B_i\right)$P(A)=i=1∑n​P(Bi​)P(A∣Bi​)

1.3 贝叶斯公式

设B1，B2，…Bn…是一完备事件组，则对任一事件A，P（A）>0，有 $P\left(B_i\mid A\right)=\frac{P\left(A{B}_i\right)}{P\left(A\right)}=\frac{P\left(B_i\right)P\left(A\mid B_i\right)}{\sum _{i}P\left(B_i\right)P\left(A\mid B_i\right)}$P(Bi​∣A)=P(A)P(ABi​)​=∑i​P(Bi​)P(A∣Bi​)P(Bi​)P(A∣Bi​)​

1.4 独立性

当且仅当两个随机事件A与B满足P(A∩B)=P(A)P(B)的时候，它们才是统计独立的，这样联合概率可以表示为各自概率的简单乘积。同样，对于两个独立事件A与B有P(A|B)=P(A)以及P(B|A)=P(B)换句话说，如果A与B是相互独立的，那么A在B这个前提下的条件概率就是A自身的概率；同样，B在A的前提下的条件概率就是B自身的概率。

2. 简单图分析（简单贝叶斯网络独立性分析）

$P(A,B,C)=P(C\mid A,B)P\left(B\mid A\right)P\left(A\right)$P(A,B,C)=P(C∣A,B)P(B∣A)P(A) 这个是对上面图的简单表示三个变量a，b，c的联合概率分布。对这个简单图有一定了解后深入了解会的到下列几个有趣的结论，后面可能会用到。

即 ：在c给定的条件下，a，b被阻断（blocked）是独立的。

即 ：在c给定的条件下，a，b被阻断（blocked）是独立的。

即 ：而对于上图，在c未知的条件下，a，b被阻断（blocked）是独立的。
上面都是可以根据基本公式推导出来，如果感兴趣可以参考 ： PRML 模式识别与机器学习

3. 朴素贝叶斯

朴素贝叶斯（Naive Bayes，NB）是基于 “特征之间是独立的” 这一朴素假设，应用贝叶斯定理的监督学习算法。

朴素贝叶斯的推导

• 对于给定的特征向量 $x_1,x_2,...,x_n$x1​,x2​,...,xn​
• 类别 y 的概率可以依据贝叶斯公式得到： $P(y\mid x_1,x_2,...,x_n)=\frac{P\left(y\right)P(x_1,x_2,...,x_n\mid y)}{P(x_1,x_2,...,x_n)}$P(y∣x1​,x2​,...,xn​)=P(x1​,x2​,...,xn​)P(y)P(x1​,x2​,...,xn​∣y)​
• 使用朴素的独立性假设： $P(x_i\mid y,x_1,x_2,...,x_n)=P\left(x_i\mid y\right)$P(xi​∣y,x1​,x2​,...,xn​)=P(xi​∣y)
• 类别 y 的概率可简化为： $P(y\mid x_1,x_2,...,x_n)=\frac{P\left(y\right)P(x_1,x_2,...,x_n\mid y)}{P(x_1,x_2,...,x_n)}=\frac{P\left(y\right)\prod _{i=1}^{n}P\left(x_i\mid y\right)}{P(x_1,x_2...,x_n)}$P(y∣x1​,x2​,...,xn​)=P(x1​,x2​,...,xn​)P(y)P(x1​,x2​,...,xn​∣y)​=P(x1​,x2​...,xn​)P(y)∏i=1n​P(xi​∣y)​
• 在给定样本的前提下， $P(x_1,x_2...,x_n)$P(x1​,x2​...,xn​)是常数： $P(y\mid x_1,x_2,...,x_n)\infty P\left(y\right)\prod _{i=1}^{n}P\left(x_i\mid y\right)$P(y∣x1​,x2​,...,xn​)∞P(y)i=1∏n​P(xi​∣y)
• 从而有 $\widehat{y}=argmaxP\left(y\right)\prod _{i=1}^{n}P\left(x_i\mid y\right)$y^​=argmaxP(y)i=1∏n​P(xi​∣y)

3.1 高斯朴素贝叶斯（Gaussian Naive Bayes）

• 根据样本使用MAP估计 $P\left(y\right)$P(y)，建立合理的模型估计 $P\left(x_i\mid y\right)$P(xi​∣y),从而得到样本的类别。 $\widehat{y}=argmaxP\left(y\right)\prod _{i=1}^{n}P\left(x_i\mid y\right)$y^​=argmaxP(y)i=1∏n​P(xi​∣y)
• 假设特征服从高斯分布，即： $P\left(x_i\mid y\right)=\frac{1}{\sqrt{2\pi }{\sigma }_y}exp(-\frac{(x_i-{\mu }_y{)}^2}{2{\sigma }_y^2})$P(xi​∣y)=2π ​σy​1​exp(−2σy2​(xi​−μy​)2​)
  参数估计使用MLE极大似然就可以

3.2 多项分布朴素贝叶斯（Multinomial Native Bayes）

• 假设特征服从多项分布，从而，对每个类别y，参数为 ${\theta }_y=({\theta }_{y1},{\theta }_{y2},...,{\theta }_{yn})$θy​=(θy1​,θy2​,...,θyn​),其中n为特征的数目， $P\left(x_i\mid y\right)$P(xi​∣y)的概率为 ${\theta }_{yi}$θyi​。
• 参数 ${\theta }_y$θy​使用MLE估计的结果为： $\widehat{{\theta }_{yi}}=\frac{N_{yi}+\alpha }{N_y+\alpha \cdot n},\alpha \ge 0$θyi​^​=Ny​+α⋅nNyi​+α​,α≥0
• 假定训练集为 $T$T，有： $N_{yi}=\sum _{xϵT}{x}_i,N_y=\sum _{i=1}^{\mid a\mid }{N}_{yi}$Nyi​=xϵT∑​xi​,Ny​=i=1∑∣a∣​Nyi​
• 其中 $\alpha =1$α=1称为Laplace平滑， $\alpha \&lt;1$α<1称为Lidstone平滑。