• 机器学习最重要的任务,是根据一些已观察到的证据来对感兴趣的未知变量进行估计和推测.生成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O).
  • 概率图模型是一类用图来表达变量相关关系的概率模型.若变量间存在显式的因果关系,常使用贝叶斯网.若变量间存在相关性但难以获取显式的因果关系,常使用马尔可夫网.
  • 隐马尔可夫模型(Hidden Markov Model,HMM)是结构最简单的动态贝叶斯网.主要用于时序数据建模,在语音识别,自然语言处理等领域有广泛应用.隐马尔可夫模型中有状态变量(隐变量)和观测变量两组变量.
  • 马尔可夫链:系统下一时刻的状态仅有当前状态决定,不依赖于以往的任何状态.
  • 马尔可夫随机场(Markov Random Field,MRF)是典型的马尔可夫网.每一个结点表示一个或一组变量,结点之间的边表示两个变量之间的依赖关系.
  • 条件随机场是判别式模型,可看作给定观测值的马尔可夫随机场.
  • 概率图模型的推断方法大致分为两类.第一类是精确推断,代表性方法有变量消去和信念传播.第二类是近似推断,可大致分为采样(如MCMC采样)和使用确定性近似完成近似推断(如变分推断).