朴素贝叶斯法

朴素贝叶斯法是基与贝叶斯定理与特征条件独立据假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入／输出的联合概率分布，然后基与此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y.

朴素贝叶斯法的学习与分类

现在给我们的问题是，如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？

非常的简单明了

$朴素贝叶斯法分类时，对给定的输入x，$ $通过学习到的模型计算后验概率分布P(Y=c_k|X=x),将后验概率最大的类作为x的输出，$
$后验概率根据朴素贝叶斯公式$

$P(Y=c_k|X=x)＝\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}$

我们的目标就是让这个后验概率最大化

极大似然估计

在朴素贝叶斯法中，学习意味着估计 $P(Y=c_k),P(X^{(j)}=x^{(j)}|Y=c_k)$ ，可以用极大似然估计法估计相应的概率。 $\\ P(Y=c_k)=\frac{\sum_{i=1}^{N}I(y_i=c_k)}{N},k=1,2... K \\ \\ \\ \\$

朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。 $\\P(Y|X)=\frac{P(X,Y)}{X}=\frac{P(Y)P(X|Y)}{\sum_YP(Y)P(X|Y)}$

将输入 $x$ 分到后验概率最大的类 $y$
后验概率最大等价与0-1损失函数时的期望风险最小化。