7.1 贝叶斯决策论
贝叶斯决策论（Bayesian decision theory）是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。
贝叶斯判定准则（Bayes decision rule）：为最小化总体风险，只需在每个样本上选择那个能使条件风险（conditional risk）最小的类型标记，即贝叶斯最优分类器（Bayes optimal classifier），与之对应的总体风险称为贝叶斯风险（Bayes risk）。
对于每个样本x，选择其后验概率P（c | x）最大所对应的类标，能使得总体风险函数最小，从而将原问题转化为估计后验概率P（c | x）。一般有两种策略来对后验概率进行估计：

  • 判别式模型（discriminative models）：直接对 P(c | x)进行建模求解。例如，我们前面所介绍的决策树、BP神经网络、SVM都是属于判别式模型。

  • 生成式模型（generative models）：通过先对联合分布P(x,c)建模，从而进一步求解 P(c|x)。

  • 先验概率： 根据以往经验和分析得到的概率。

  • 后验概率：后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。

7.2 极大似然法
极大似然估计（Maximum Likelihood Estimation，简称MLE），是一种根据数据采样来估计概率分布的经典方法。常用的策略是先假定总体具有某种确定的概率分布，再基于训练样本对概率分布的参数进行估计。极大似然法的核心思想就是：估计出的参数使得已知样本出现的概率最大，即使得训练数据的似然最大。
贝叶斯分类器的训练过程就是参数估计。总结最大似然法估计参数的过程，一般分为以下四个步骤：

  • 1.写出似然函数；
  • 2.对似然函数取对数，并整理；
  • 3.求导数，令偏导数为0，得到似然方程组；
  • 4.解似然方程组，得到所有参数即为所求。

7.3 朴素贝叶斯分类器
原始的贝叶斯分类器最大的问题在于联合概率密度函数的估计，首先需要根据经验来假设联合概率分布，其次当属性很多时，训练样本往往覆盖不够，参数的估计会出现很大的偏差。为了避免这个问题，朴素贝叶斯分类器（naive Bayes classifier）采用了“属性条件独立性假设”，即样本数据的所有属性之间相互独立。换言之，假设每个属性独立地对分类结果发生影响。
为了避免其他属性携带的信息被训练集中为出现的属性值“抹去”，在估计概率值时，通常要进行“平滑”（smoothing）处理，常用“拉普拉斯修正”（Laplacian correction）。

7.4 半朴素贝叶斯分类器
半朴素贝叶斯分类器（semi-naïve Bayes classifiers）的基本想法是适当考虑一部分属性间的相互依赖信息，从而既不需进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。“独依赖估计”（One-Dependent Estimator，简称ODE）是半朴素贝叶斯分类器最常用的一种策略。顾名思义，所谓“独依赖”就是假设每个属性在类别之外最多仅依赖于一个其他属性。
最直接的做法是假设所有属性都依赖于同一个属性，称为“超父”（super-parent），然后通过交叉验证等模型选择方法来确定超父属性，由此形成了SPODE（Super-Parent ODE）方法。
AODE（Averaged One-Dependent Estimator）是一种基于集成学习机制、更为强大的独依赖分类器。与SPODE通过模型选择确定超父属性不同，AODE尝试将每个属性作为超父来构建SPODE，然后将那些具有足够训练数据支撑的SPODE集成起来作为最终结果。

7.5 贝叶斯网
贝叶斯网（Bayesian network）亦称“信念网”（belief network），它借助有向无环图（Directed Acyclic Graph，简称DAG）来刻画属性之间的依赖关系，并使用条件概率表（Conditional Probability Table，简称CPT）来描述属性的联合概率分布。

7.6 EM算法
EM（Expectation-Maximization）算法是常用的估计参数隐变量（latent variable）的利器，它是一种迭代式的方法，其基本想法是：若参数已知，则可根据训练数据推断出最优隐变量Z的值（E步）；反之，若Z的值已知，则可方便地对参数做出极大似然估计（M步）。
简单来说，EM算法使用两个步骤交替计算：第一步是期望(E)步，利用当前估计的参数值来计算对数似然的期望值；第二步是最大化(M)步，寻找能使E步产生的似然期望最大化的参数值。然后，新得到的参数值重新被用于E步，……直至收敛到局部最优解。