《统计学习方法》读书笔记 (7) 支持向量机

线性可分支持向量机
定义：给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：

$w^∗⋅x+b^∗=0$

以及相应的分类决策函数：

$f(x)=sign(w^∗⋅x+b^∗)$

称为线性可分支持向量机。
SVM的分类决策函数和感知机决策函数形式很类似，但是求得的超平面不一样。

函数间隔
定义：对于给定的训练数据集T和超平面 $(w,b)$ ，定义超平面 $(w,b)$ 关于样本点 $(xi,yi)$ 的函数间隔为：

$γ_i=y_i(w⋅x_i+b)$

定义超平面 $(w,b)$ 关于训练数据T的函数间隔为超平面 $(w,b)$ 关于T中所有样本点 $(xi,yi)$ 的函数间隔之最小值，即：

$γ=minγ_{1,⋯,N}$

几何间隔
定义：对于给定的训练数据集TT和超平面 $(w,b)$ ，定义超平面 $(w,b)$ 关于样本点 $(xi,yi)$ 的几何间隔为：
图片标题

定义超平面 $(w,b)$ 关于训练数据T的几何间隔为超平面 $(w,b)$ 关于T中所有样本点 $(xi,yi)$ 的几何间隔之最小值，即：

$γ=minγ_{1,⋯,N}$

函数间隔和几何间隔关系：
图片标题
两种间隔都表示分类预测的正确性以及确信度。两种间隔若为正，表明分类正确，值越大，正确的确信度越大；若为负，表明分类错误，值越小，分错的程度越大。

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对于线性可分的训练数据集，几何间隔最大的分离超平面是唯一的，这里的间隔最大化又称为硬间隔最大化。
间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。即不仅将正负实例点分开，而且对最难分的实例点也有足够大的确信度将它们分开，这样的超平面对未知的新实例也有很好的分类预测能力。

图片说明