1.适用问题

本书主要介绍监督学习方法。

监督学习包括分类标注和回归。分类问题是指从实例的特征向量到类标记的预测问题。
标注问题是从观测序列到标记序列的预测问题。

感知机，k近邻算法，朴素贝叶斯法，决策树，逻辑斯蒂回归与最大熵模型，支持向量机，提升方法是分类方法。
原始的感知机，支持向量机以及提升方法是针对二类分类，可以将它们扩展到多分类问题。

隐马尔科夫模型，条件随机场是标注方法，EM算法是含有隐变量模型的一般学习算法。

2.模型

分类问题与标注问题的预测模型都可以认为是表示从输入空间到输出空间的映射。
朴素贝叶斯，隐马尔可夫模型是概率模型，感知机，k近邻算法，支持向量机，提升方法是非概率模型。

感知机是线性模型，逻辑斯蒂回归和最大熵模型，条件随机场是对数线性模型，口邻近，决策树，支持向量机（包含核函数）是非线性模型。

图片说明

在二分类问题的监督学习中，支持向量机，逻辑斯蒂回归与最大熵模型，提升方法各自使用合页损失函数，逻辑斯蒂损失函数，指数损失函数。
概率模型的学习可以形式化的化为极大似然估计或贝叶斯估计的极大后验概率估计。
决策树的学习策略是正则化的极大似然估计。