马尔可夫随机场与条件随机场

马尔可夫随机场

1. 引言

马尔可夫随机场(Markov Random Field，简称MRF)，是马尔可夫网的一种，生成式模型，是一种著名的无向图模型。图中每个节点表示一个或一组变量，结点之间的边表示两个变量之间的依赖关系。马尔科夫随机场有一组势函数，非负实函数，主要用于定义概率分布函数。

2. 团与极大团

对于一个马尔科夫随机场图中的结点的一个子集，若其中任意两节点键都有边连接，则成结点子集为一个团。
若在一个团中加入另外任何一个结点都不在形成团，责成该团为极大团。

3. MRF联合概率

MRF中，多变量之间的联合概率分布能基于团分解为多个因子的乘积，每个因子仅与一个团相关。具体来说，对n个变量 $\{x_1,x_2...,x_n\}${x1​,x2​...,xn​}所有团构成集合为C，与团 $QϵC$QϵC对应的变量集合记为 $x_Q$xQ​，则联合概率 $P\left(X\right)$P(X)为: $P\left(X\right)=\frac{1}{Z}\prod _{QϵC}{\psi }_Q\left(x_Q\right)$P(X)=Z1​QϵC∏​ψQ​(xQ​)其中 ${\psi }_Q$ψQ​为与团Q对应的势函数，用于对团Q中的变量关系进行建模， $Z={\sum }_x{\prod }_{QϵC}{\psi }_Q\left(x_Q\right)$Z=∑x​∏QϵC​ψQ​(xQ​)为规范化因子，以确保P(x)是被正确定义的概率。
很显然，若变量个数较多，则团的数目将会很多，这就会带来计算负担。注意到若团Q不是极大团册必被一个极大团 $Q^{\ast }$Q∗所包含，这就意味着 $x_Q$xQ​之间的关系不仅体现在势函数 ${\psi }_Q$ψQ​中还体现在 ${\psi }_Q^{\ast }$ψQ∗​中于是联合概率P(X)可基于极大团来定义，假定所有极大团构成的集合为 $C^{\ast }$C∗，则有 $P\left(X\right)=\frac{1}{Z^{\ast }}\prod _{QϵC^{\ast }}{\psi }_Q\left(x_Q\right)$P(X)=Z∗1​QϵC∗∏​ψQ​(xQ​)，其中 $Z={\sum }_x{\prod }_{QϵC^{\ast }}{\psi }_Q\left(x_Q\right)$Z=∑x​∏QϵC∗​ψQ​(xQ​)

4. MRF的条件独立性(有向分离)

在f给定的情况下，判断a和b的独立性。我们把a，e，c当做一个整体，由贝叶斯网络独立性分析可知左半部分和b相互独立，我们认为a和b独立，通俗点说，这就是有向分离。
而对于MRF有：

• 全局马尔科夫性：给定两个变量子集分离集，则这两个变量子集条件独立。

推论：

• 局部马尔可夫性：给定某变量的邻接变量，则该变量独立与其他变量。
• 成对马尔科夫性：给定所有其他变量，两个非邻接变量条件独立。

条件随机场

(https://www.jianshu.com/p/55755fc649b1)