11.1 条件随机场
条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题，本章主要讲述线性链(linear chain)条件随机场在标注问题的应用，这时问题变成了由输入序列对输出序列预测的判别模型，形式为对数线性模型，其学习方法通常是极大似然估计或正则化的极大似然估计。
概率无向图模型（马尔科夫随机场）
是一个可以由无向图表示的联合概率分布，其中用图的节点(node) 表示随机变量，用边(edge) 表示随机变量之间的概率依赖关系。无向图中随机变量之间存在以下三种关系（三者等价）：
成对马尔可夫性
局部马尔科夫性
全局马尔科夫性
团、最大团
条件随机场
条件随机场是给定输入随机变量X条件下，输出随机变量Y的条件概率分布模型，其形式为参数化的对数线性模型。条件随机场的最大特点是假设输出变量之间的联合概率分布构成概率无向图模型，即马尔可夫随机场。条件随机场（或概率无向图模型）的联合概率分布可以分解为 无向图最大团上的正值函数的乘积 的形式。
条件随机场是判别模型。
线性链条件随机场：定义在观测序列与标记序列上的条件随机场。表达式为：
11.2 算法
CRF 的概率计算问题
是给定条件随机场 ,输入序列x 和输出序列 y ，计算条件概率
以及相应的数学期望的问题。
主要也是 前向——后向算法
CRF 的学习算法
给定训练数据集估计条件随机场模型参数的问题。
主要包括：极大似然估计，正则化的极大似然估计，具体的优化算法有改进的迭代尺度法 IIS ，梯度下降法以及拟牛顿法。
CRF 的预测算法
给定条件随机场 P(Y|X) 和输入序列（观测序列）x,求条件概率最大的输出序列（标记序列）y ，这也是其重要应用——标注问题。
主要方法有：维特比算法
关于条件随机场有趣的解释
https://www.jianshu.com/p/55755fc649b1
参考
https://www.cnblogs.com/wwf828/p/9934938.html
https://www.cnblogs.com/QueenJulia/articles/8940012.html
京公网安备 11010502036488号